[논문 리뷰] Deeply Cascaded U-Net for Multi-Task Image Processing

Ilja Gubins, Remco C. Veltkamp|arXiv (Cornell University)|2020. 05. 01.

Advanced Neural Network Applications참고 문헌 18인용 수 5

한 줄 요약

이 논문은 공유 인코더와 작업별 디코더 경로를 갖는 단일 통합 네트워크에 노이즈 제거 및 세분화와 같은 여러 이미지 처리 작업을 통합하는 깊이 있는 계단식 U-Net 아키텍처를 제안한다. 예측의 깊이 있는 계단식 처리와 경로 간 특징 연결을 통해, 개별 또는 공동으로 훈련된 네트워크보다 더 적은 파라미터로도 뛰어난 성능을 달성한다.

ABSTRACT

In current practice, many image processing tasks are done sequentially (e.g. denoising, dehazing, followed by semantic segmentation). In this paper, we propose a novel multi-task neural network architecture designed for combining sequential image processing tasks. We extend U-Net by additional decoding pathways for each individual task, and explore deep cascading of outputs and connectivity from one pathway to another. We demonstrate effectiveness of the proposed approach on denoising and semantic segmentation, as well as on progressive coarse-to-fine semantic segmentation, and achieve better performance than multiple individual or jointly-trained networks, with lower number of trainable parameters.

연구 동기 및 목표

• 다양한 이미지 처리 작업을 위한 순차적 또는 별도로 훈련된 모델의 비효율성과 열악한 성능을 해결하기 위해 여러 작업을 단일 딥러닝 프레임워크로 통합하고자 한다.
• 다양한 이미지 처리 작업에서 성능을 유지하거나 향상시키면서도 학습 가능한 파라미터 수를 줄이고자 한다.
• 컴퓨터 비전 분야의 다중 작업 학습에서 깊이 있는 계단식 처리와 경로 간 특징 연결의 이점을 탐구하고자 한다.
• 표준 및 점진적인 굵기에서 세밀한 수준의 세분화 작업에서의 성능 향상을 입증하고자 한다.

제안 방법

• 각각 특정 이미지 처리 작업에 전용으로 할당된 다중 병렬 디코더 경로를 갖는 U-Net 아키텍처를 확장한다.
• 한 작업의 디코더 출력을 인코더 또는 후속 디코더에 피드백하여 추가적인 감독 정보로 제공함으로써 예측의 깊이 있는 계단식 처리를 도입한다.
• 다른 작업별 디코더 간 특징 흐름을 가능하게 하여 기능 표현 공유를 향상시키기 위해 경로 간 연결을 설정한다.
• 계층적 특징을 추출하기 위해 공유 인코더 백본을 사용한 후, 예측을 위한 작업별 헤드를 적용한다.
• 개별 작업 손실을 조합한 다중 작업 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련시킨다.
• 각 디코더 경로 내부에서 스킵 연결을 활용하여 공간 해상도를 유지하고 기울기 흐름을 촉진한다.

실험 결과

연구 질문

• RQ1 통합된 딥러닝 아키텍처가 여러 이미지 처리 작업에 대해 순차적 또는 별도로 훈련된 모델보다 우수한 성능을 낼 수 있는가?
• RQ2 표준 다중 작업 학습과 비교해 예측의 깊이 있는 계단식 처리가 다중 작업 이미지 처리 성능을 향상시키는가?
• RQ3 경로 간 특징 연결이 다양한 작업 간 표현 학습을 향상시킬 수 있는가?
• RQ4 기본 U-Net 및 다중 작업 기준 모델과 비교해 제안된 아키텍처는 파라미터 효율성과 정확성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 깊이 있는 계단식 U-Net은 노이즈 제거 및 세분화 작업에서 개별 및 공동 훈련된 네트워크보다 더 뛰어난 성능을 달성한다.
• 각 작업에 대해 별도로 네트워크를 훈련시키는 것보다 학습 가능한 파라미터 수를 줄일 수 있다.
• 깊이 있는 계단식 처리와 경로 간 연결은 특히 점진적인 굵기에서 세밀한 수준의 세분화에서 특징 학습과 예측 정확도 향상에 기여한다.
• 최소한의 아키텍처 오버헤드로 다양한 이미지 처리 작업에 대해 강력한 일반화 성능을 보여준다.