[논문 리뷰] Learning on the Edge: Explicit Boundary Handling in CNNs

Carlo Innamorati, Tobias Ritschel외 2명|arXiv (Cornell University)|2018. 05. 08.

Advanced Neural Network Applications참고 문헌 8인용 수 15

한 줄 요약

이 논문은 컨volution 신경망(CNNs)에서 히어스틱 패딩 방법(예: 0 패딩, 반사 패딩 등)을 대체하여 이미지 에지에서 특징 품질을 향상시키기 위해 명시적인 경계 필터를 학습하는 방법을 제안한다. 작업에 특화된 경계 필터를 학습시켜 특징을 자연스럽게 외삽함으로써, 런타임 오버헤드 없이도 색상화, De-Bayering, 옵티컬 플로우, 디스parity 추정 등 다양한 작업에서 5–20%의 성능 향상을 달성한다.

ABSTRACT

Convolutional neural networks (CNNs) handle the case where filters extend beyond the image boundary using several heuristics, such as zero, repeat or mean padding. These schemes are applied in an ad-hoc fashion and, being weakly related to the image content and oblivious of the target task, result in low output quality at the boundary. In this paper, we propose a simple and effective improvement that learns the boundary handling itself. At training-time, the network is provided with a separate set of explicit boundary filters. At testing-time, we use these filters which have learned to extrapolate features at the boundary in an optimal way for the specific task. Our extensive evaluation, over a wide range of architectural changes (variations of layers, feature channels, or both), shows how the explicit filters result in improved boundary handling. Consequently, we demonstrate an improvement of 5% to 20% across the board of typical CNN applications (colorization, de-Bayering, optical flow, and disparity estimation).

연구 동기 및 목표

• CNN에서 히어스틱 패딩(예: 0 패딩, 반사 패딩, 평균 패딩 등)으로 인해 발생하는 이미지 경계에서의 특징 품질 열악함을 해결하기 위해.
• 불일치하는 외삽으로 인해 경계뿐만 아니라 이미지 내부 영역까지도 특징 품질이 떨어지는 경계 아티팩트를 줄이기 위해.
• 고정된 규칙에 의존하는 대신, 이미지 콘텐츠와 작업에 특화된 맥락을 고려한 최적의 경계 외삽을 학습시킬 수 있도록 CNN이 학습할 수 있도록 하기 위해.
• 기존 CNN 아키텍처에 경계 처리를 원활하게 통합하면서도 추가적인 추론 비용 없이 수행하기 위해.
• 에코더-디코더 네트워크를 포함한 다양한 CNN 응용 분야와 아키텍처에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 표준 컨volution 필터가 이미지 경계에 적용될 때를 대체하기 위해 학습된 경계 필터의 집합을 도입한다.
• 주 네트워크와 동일한 손실 함수를 사용하여, 백프로파게이션 동안 표준 필터와 함께 경계 필터를 동시에 학습시킨다.
• 각 경계 구성(예: 상단 에지, 하단-좌측 모서리 등)에 대해 별도의 경계 필터를 정의함으로써 맥락 인식 외삽을 가능하게 한다.
• 모든 경계 케이스를 효율적으로 처리하기 위해 훈련 시 도메인 분할을 사용하며, 런타임 성능 저하 없이 처리한다.
• 내부 영역에서는 표준 컨볼루션 연산을 유지하고, 에지에서만 학습된 경계 필터로 전환한다.
• 경계 필터가 비경계 필터와 일관된 특징 맵을 생성함으로써 특징의 연속성을 유지한다.

실험 결과

연구 질문

• RQ1 CNN이 고정된 히어스틱이 아닌, 특정 작업에 최적화된 방식으로 경계에서 이미지 특징을 외삽할 수 있는가?
• RQ2 학습된 경계 필터가 경계에서만 아니라 이미지 내부 영역의 특징 품질 향상에도 기여하는가?
• RQ3 표준 패딩 방법과 비교했을 때, 학습된 경계 필터를 도입하는 데 있어 훈련 및 추론 오버헤드는 얼마나 되는가?
• RQ4 성능 및 효율성 측면에서, 제안된 방법이 자르기(cropping) 또는 슬라이딩 윈도우 추론과 비교해 어떻게 되는가?
• RQ5 이 방법은 다중 해상도 또는 에코더-디코더 아키텍처를 포함한 다양한 아키텍처와 작업에 일반화 가능한가?

주요 결과

• 제안된 방법은 색상화, De-Bayering, 옵티컬 플로우, 디스파리티 추정 등 여러 CNN 작업에서 5–20%의 성능 향상을 달성한다.
• 학습된 필터를 사용한 경계 처리로 인해 경계뿐만 아니라 내부 영역의 오차도 감소함을 확인하여, 경계 아티팩트가 내부로 확장되며 영향을 미치는 것으로 나타났고, 더 나은 외삽으로 이를 완화함을 시사한다.
• 경계 필터는 추론 시에만 적용되며 사전 학습된 상태이므로, 각 포워드 패스에 추가 계산이 없어 런타임 오버헤드가 없다.
• 표준 0 패딩과 유사한 수렴 속도를 보이며, 훈련 시간이나 최적화 난이도에 유의미한 증가가 없음.
• 특히 에지 연속성 유지 및 오진 양성률 감소 측면에서, 기존의 0, 반사, 클램프 등의 경계 규칙보다 우수함.
• 깊이가 있거나 다중 해상도 네트워크와 같은 환경에서도 스케일이 가능하고 효과적이며, 이러한 네트워크에서는 영향을 받는 픽셀 수가 지수적으로 증가하므로 경계 영향이 가장 두드러짐.