[논문 리뷰] The Devil is in the Decoder: Classification, Regression and GANs

Zbigniew Wojna, Vittorio Ferrari외 5명|arXiv (Cornell University)|2017. 07. 18.

Advanced Image Processing Techniques참고 문헌 42인용 수 9

한 줄 요약

이 논문은 컴퓨터 비전 분야의 픽셀 단위 예측 작업에서 디코더 아키텍처의 영향을 조사하며, 성능 향상과 아티팩트 감소에 크게 기여하는 새로운 이중선형 덧셈 업샘플링 레이어와 잔차 유사 연결을 제안한다. 다양한 분류, 회귀, GAN 기반 합성 작업에서 디코더 선택이 결과에 결정적인 영향을 미치며, 이중선형 덧셈 업샘플링이 정확도와 아티팩트 감소 측면에서 다른 방법들을 능가함을 입증한다.

ABSTRACT

Many machine vision applications, such as semantic segmentation and depth prediction, require predictions for every pixel of the input image. Models for such problems usually consist of encoders which decrease spatial resolution while learning a high-dimensional representation, followed by decoders who recover the original input resolution and result in low-dimensional predictions. While encoders have been studied rigorously, relatively few studies address the decoder side. This paper presents an extensive comparison of a variety of decoders for a variety of pixel-wise tasks ranging from classification, regression to synthesis. Our contributions are: (1) Decoders matter: we observe significant variance in results between different types of decoders on various problems. (2) We introduce new residual-like connections for decoders. (3) We introduce a novel decoder: bilinear additive upsampling. (4) We explore prediction artifacts.

연구 동기 및 목표

• 다양한 픽셀 단위 기계시각 작업에서 다양한 디코더 아키텍처의 영향을 체계적으로 평가하는 것.
• 다양한 업샘플링 방법이 유도하는 성능 격차와 예측 아티팩트를 규명하고 해결하는 것.
• 파rameter 효율성과 정확도를 균형 잡는 데 초점을 맞춘 새로운 디코더 구성요소인 이중선형 덧셈 업샘플링을 제안하는 것.
• 다양한 작업에서 디코더 스택 내 잔차 유사 연결의 효과성을 조사하는 것.
• 모든 실험에서 인코더를 동일하게 유지하여 디코더 설계의 영향을 고립시키는 공정한 비교를 제공하는 것.

제안 방법

• 이중선형 보간과 학습 가능한 잔차 연결을 조합한 새로운 업샘플링 레이어인 이중선형 덧셈 업샘플링을 제안하여 특징 재구성 성능을 향상시킨다.
• 디코더 아키텍처에 특화된 잔차 유사 연결을 도입하여 모든 작업에서 더 나은 기울기 흐름과 성능 향상을 가능하게 한다.
• 모든 실험에서 동일한 인코더(ResNet-50)를 사용하여 디코더 구성요소 간의 공정한 비교를 확보한다.
• 다양한 디코더 변형(역합성 컨볼루션, 딥스페이스, 최근접 이웃, 이중보간, 이중선형 업샘플링)과 다양한 잔차 및 스킵 연결 조합을 평가한다.
• 2700만 개의 픽셀 트리플릿을 대상으로 아티팩트 생성에 대한 분석을 수행하며, 깊이 회귀에서 예측 오차와 시각적 아티팩트를 측정한다.
• 세분화, 에지 검출, 키포인트 추정, 깊이 예측, 색상화, 초해상도, GAN 기반 이미지 생성 등 7개의 작업에서 통제된 실험을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 픽셀 단위 예측 작업(예: 세분화, 회귀, 이미지 생성)에서 다양한 디코더 아키텍처가 성능에 미치는 영향은 어떠한가?
• RQ2 잔차 유사 연결은 디코더 성능과 아티팩트 감소에 어떤 영향을 미치는가?
• RQ3 역합성 컨볼루션, 이중선형, 이중보간 등의 다양한 업샘플링 방법은 정확도와 시각적 아티팩트 측면에서 어떻게 비교되는가?
• RQ4 이중선형 덧셈 업샘플링과 같은 새로운 업샘플링 메커니즘이 여러 작업에서 기존 방법을 일관되게 능가할 수 있는가?
• RQ5 체스무늬 무늬나 흐림과 같은 예측 아티팩트는 디코더 유형에 따라 얼마나 다양하게 나타나는가?

주요 결과

• 디코더의 영향은 크다: 역합성 컨볼루션과 딥스페이스 디코더는 이중선형 변형보다 더 많은 아티팩트와 열악한 성능을 보인다.
• 제안된 이중선형 덧셈 업샘플링 레이어는 잔차 연결이 있는 경우 세분화에서 17.5% mIoU, 깊이 예측에서 18.4%를 기록하여 다른 이중선형 변형보다 뛰어나다.
• 잔차 유사 연결은 모든 디코더 유형에서 성능을 향상시키며, 아티팩트를 감소시키고 일부 작업에서 mIoU를 최대 2.7%p 향상시킨다.
• 이중선형 업샘플링 변형은 역합성 컨볼루션과 딥스페이스보다 유의미하게 더 적은 아티팩트를 생성하며, 깊이 회귀에서 14.7%에서 15.2%의 오차율을 기록하는 반면, 역합성 변형은 19.5%의 오차율을 보였다.
• 최근접 이웃과 이중보간 업샘플링은 유사한 성능을 보이며, GAN 기반 이미지 생성에서는 이중보간이 略적으로 더 우수한 성능(지표: FID 28.1 vs. 29.8)을 보였지만, 차이가 미미하다.
• 이중선형 덧셈 업샘플링 방법은 정확도와 아티팩트 억제 사이의 최적의 균형을 달성하여 대부분의 픽셀 단위 예측 작업에 권장되는 선택이다.