[논문 리뷰] $ N^4 $-Fields: Neural Network Nearest Neighbor Fields for Image Transforms

Yaroslav Ganin, Victor Lempitsky|arXiv (Cornell University)|2014. 06. 25.

Automated Road and Building Extraction참고 문헌 22인용 수 4

한 줄 요약

이 논문은 자연 에지 검출 및 얇은 물체 분할과 같은 과도한 이미지 처리 작업에서 성능을 향상시키기 위해 컨volutional 신경망(CNNs)과 최근접 이웃 검색을 조합한 새로운 딥러닝 아키텍처인 N⁴-Fields를 제안한다. CNN으로 학습된 특징을 사용해 의미적으로 유사한 훈련 패치를 검색하고 그들의 애너테이션을 전이함으로써, 최소한의 하이퍼파라미터 튜닝으로도 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We propose a new architecture for difficult image processing operations, such as natural edge detection or thin object segmentation. The architecture is based on a simple combination of convolutional neural networks with the nearest neighbor search. We focus our attention on the situations when the desired image transformation is too hard for a neural network to learn explicitly. We show that in such situations, the use of the nearest neighbor search on top of the network output allows to improve the results considerably and to account for the underfitting effect during the neural network training. The approach is validated on three challenging benchmarks, where the performance of the proposed architecture matches or exceeds the state-of-the-art.

연구 동기 및 목표

• 명시적 학습이 과소적합에 취약한 복잡한 이미지 변환에 대해 딥 CNN을 훈련시키는 데 어려움을 해결한다.
• 단독 CNN이 달성할 수 있는 것 이상의 성능을 에지 검출 및 얇은 물체 분할 작업에서 향상시킨다.
• 재훈련이나 튜닝을 최소화하면서 다양한 이미지 도메인에 일반화 가능한 일반적인, 이식 가능한 프레임워크를 개발한다.
• CNN 특징 추출과 비모수적 최근접 이웃 검색을 조합함으로써 정확도와 견고성을 향상시킬 수 있음을 보여준다.
• 기존 방법들과의 비교를 위해 여러 표준 벤치마크에서 접근 방식을 검증하여 그 보편성과 우수성을 입증한다.

제안 방법

• 입력 이미지를 겹치는 패치로 처리하고, 각 패치를 사전에 훈련된 CNN에 통과시켜 고수준 특징을 추출한다.
• 훈련 패치의 CNN 활성화 벡터를 사전에 저장하여 효율적인 최근접 이웃 검색을 가능하게 한다.
• 각 테스트 패치에 대해 CNN 특징 공간에서 L2 거리 기반으로 사전 내에서 k개의 최근접 이웃을 찾는다.
• 가장 가까운 훈련 패치들로부터 지도 학습 레이블(예: 에지 맵 또는 분할 마스크)을 테스트 패치로 전이한다.
• 겹치는 패치들에 대한 결과를 평균하여 최종적으로 일관된 출력 이미지 변환을 생성한다.
• 훈련 중에 PCA를 사용해 CNN 특징를 압축하여 메모리와 계산 비용을 줄이면서도 분류 능력을 유지한다.

실험 결과

연구 질문

• RQ1 CNN 특징 추출과 비모수적 최근접 이웃 검색을 조합함으로써 복잡한 이미지 처리 작업에서 성능 향상을 이룰 수 있는가?
• RQ2 이 하이브리드 접근 방식은 자연 에지 검출과 같은 어려운 변환을 학습할 때 CNN의 과소적합 문제를 완화하는가?
• RQ3 N⁴-Fields의 성능은 에지 검출 및 혈관 분할 작업에서 구조적 숲과 같은 최신 기술 수준의 방법들과 비교해 어떻게 되는가?
• RQ4 재훈련 없이도 다양한 이미지 도메인(예: 자연 이미지, RGBD, 망막 미세현미경 영상) 간에 이 방법이 얼마나 이식 가능한가?
• RQ5 임bed딩 공간에서 특징 표현 및 거리 측정 방법의 선택에 따라 이 방법의 민감도는 어느 정도인가?

주요 결과

• N⁴-Fields는 자연 에지 검출에 대해 Berkeley Segmentation Dataset(BSDS500)에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전의 SOTA 방법들과 동일하거나 이를 초월한다.
• NYU RGBD 데이터셋에서, 특히 낮은 매칭 임계값에서 구조적 에지 검출기의 성능과 거의 동일한 결과를 보였다.
• DRIVE 데이터셋에서 망막 혈관 분할 작업에서는 Becker 등[29]의 선도적인 방법과 동등한 성능을 달성했으며, CNN 기반 베이스라인 및 [20]보다도 뚜렷이 뛰어나다.
• 이 방법은 동일한 메타-파rameter와 CNN 아키텍처를 사용하여 RGB, RGBD, 망막 미세현미경 영상 데이터에서 모두 SOTA 결과를 달성하여 도메인 간 일반화 능력이 뛰어나다.
• PCA로 압축된 CNN 특징의 사용이 핵심적이다. SIFT 특징을 사용한 기반 최근접 이웃 방법은 성능이 열악하여, 성공에 있어 학습된 특징의 중요성을 시사한다.
• 구조적 숲보다 느리지만, 도메인 전용 튜닝이 필요 없기 때문에 새로운 영상 모odalities에 매우 적응력이 높다.