[논문 리뷰] Patch Correspondences for Interpreting Pixel-level CNNs

Victor Fragoso, Chunhui Liu외 2명|arXiv (Cornell University)|2017. 11. 29.

Advanced Neural Network Applications참고 문헌 18인용 수 3

한 줄 요약

이 논문은 훈련 데이터 내 입력 및 출력 특징 간의 패치 수준 매핑을 학습하여 픽셀 수준의 CNN을 해석하는 데 목적이 있는 Patch Correspondences를 제안한다. 새로운 HyperPatch-Match 알고리즘과 스킵 연결을 통해 입력 및 출력의 재구성, 의미적 대응, 제어 가능한 생성이 가능해지며, CNN이 패치 수준의 정렬을 통해 분리된, 해석 가능한 표현을 학습한다는 것을 입증한다.

ABSTRACT

We present compositional nearest neighbors (CompNN), a simple approach to visually interpreting distributed representations learned by a convolutional neural network (CNN) for pixel-level tasks (e.g., image synthesis and segmentation). It does so by reconstructing both a CNN's input and output image by copy-pasting corresponding patches from the training set with similar feature embeddings. To do so efficiently, it makes of a patch-match-based algorithm that exploits the fact that the patch representations learned by a CNN for pixel level tasks vary smoothly. Finally, we show that CompNN can be used to establish semantic correspondences between two images and control properties of the output image by modifying the images contained in the training set. We present qualitative and quantitative experiments for semantic segmentation and image-to-image translation that demonstrate that CompNN is a good tool for interpreting the embeddings learned by pixel-level CNNs.

연구 동기 및 목표

• 훈련 데이터 전반에 걸친 국소적 특징 대응을 분석하여 픽셀 수준의 CNN을 해석하기 위해.
• Pix2Pix 및 SegNet과 같은 이미지 간 번역 네트워크의 해석 불가능성 문제를 해결하기 위해.
• 학습된 패치 대응을 통해 예측되지 않은 입력 및 출력을 재구성할 수 있도록 하기 위해.
• 훈련 데이터를 수정함으로써 사용자가 이미지의 성질(예: 색상, 질감 등)을 제어할 수 있도록 하기 위해.
• 학습된 패치 특징을 사용하여 질의 이미지와 훈련 이미지 간의 의미적 대응을 시각화하고 분석하기 위해.

제안 방법

• C++11를 사용한 다중 스레드 환경의 HyperPatch-Match 알고리즘을 제안하여 패치 대응을 효율적으로 계산한다.
• 선형 대수 연산을 위해 Eigen 라이브러리를 사용하고, Python 래퍼를 통해 OpenCV를 활용해 시각화를 수행한다.
• 에코더-디코더 아키텍처에서 스킵 연결을 적용하여 레이어 간 공간적 및 의미적 정보를 유지한다.
• 학습된 패치 대응을 활용해 특징 임bedding에서 입력 및 출력 이미지를 재구성한다.
• SegNet 및 Pix2Pix에서 사전 학습된 특징을 활용하여 질의 이미지와 훈련 이미지 간 의미적 대응을 수립한다.
• 훈련 이미지를 수정함으로써 생성된 출력의 성질(예: 페도라 색상, 창문 질감, 스타일 등)을 제어할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 훈련 이미지와 입력/출력 간의 패치 수준 대응이 픽셀 수준의 CNN에서 의미 있고 해석 가능한 표현을 드러내는가?
• RQ2 단지 패치 대응과 훈련 데이터만을 사용하여 예측되지 않은 입력 및 출력을 얼마나 잘 재구성할 수 있는가?
• RQ3 학습된 패치 특징이 질의 이미지와 훈련 이미지 간에 의미적으로 의미 있는 대응을 수립할 수 있는가?
• RQ4 사용자가 훈련 데이터를 수정함으로써 이미지 성질(예: 색상, 질감 등)을 얼마나 제어할 수 있는가?
• RQ5 에코더 및 디코더 레이어가 입력 및 출력 재구성에 각각 어떻게 기여하는가?

주요 결과

• 제안된 방법은 패치 대응과 훈련 데이터만을 사용하여 예측되지 않은 입력 이미지를 성공적으로 재구성하였으며, 초기 에코더 레이어는 굵은 구조를, 후속 디코더 레이어는 세부 사항을 정밀하게 보존한다.
• 디코더 레이어는 출력 이미지의 고해상도 세부 사항 생성에 크게 기여하여 원본 네트워크 출력에 가까운 재구성을 가능하게 한다.
• Pix2Pix 및 SegNet 특징을 사용한 패치 대응은 스카이, 빌딩, 도로, 보도 클래스에 대해 질의 이미지와 훈련 이미지 간 의미적으로 의미 있는 연결을 수립함을 시각화를 통해 입증한다.
• 의미적 대응은 Camvid 및 Cityscapes 데이터셋 간에 강건하게 유지되어 학습된 표현의 일반화 능력을 입증한다.
• 훈련 이미지를 수정함으로써 사용자는 페도라 색상, 창문 질감, 건축 스타일 등의 출력 성질을 제어할 수 있으며, 이는 모델의 편향을 드러내고 수정을 가능하게 한다.
• 이 방법은 스킵 연결이 정보 흐름을 유지하고 강화하여 모든 네트워크 단계에서 정확한 재구성을 가능하게 한다는 것을 확인한다.