[논문 리뷰] Deep Feature Factorization For Concept Discovery

Edo Collins, Radhakrishna Achanta외 1명|arXiv (Cornell University)|2018. 06. 26.

Advanced Image and Video Retrieval Techniques참고 문헌 27인용 수 6

한 줄 요약

딥 페처 팩터리제이션(DFF)은 사전 훈련된 CNN의 특징에 비음수 행렬 분해(NMF)를 적용하여 애너테이션 없이 이미지 간 계층적인 의미적 개념을 발견하며, 객체의 부분과 전체 객체를 국소화한다. 이는 공세그멘테이션과 공로컬라이제이션에서 최신 기술 수준의 성능을 달성하며, 지도 학습이나 수동 피봇 없이도 지상 진술 해상도를 초월한 세밀한 부분 수준 국소화를 가능하게 한다.

ABSTRACT

We propose Deep Feature Factorization (DFF), a method capable of localizing similar semantic concepts within an image or a set of images. We use DFF to gain insight into a deep convolutional neural network's learned features, where we detect hierarchical cluster structures in feature space. This is visualized as heat maps, which highlight semantically matching regions across a set of images, revealing what the network `perceives' as similar. DFF can also be used to perform co-segmentation and co-localization, and we report state-of-the-art results on these tasks.

연구 동기 및 목표

• 애너테이션 데이터가 필요 없이 딥 CNN 특징에서 의미적 개념을 자율적으로 발견하는 방법을 개발하는 것.
• 객체의 의미 있는 부분 기반 분해에 대응하는 특징 공간 내 계층적 클러스터링 구조를 드러내는 것.
• 사전 훈련된 CNN과 입력 이미지만을 사용하여 객체와 그 부분의 공세그멘테이션 및 공로컬라이제이션을 가능하게 하는 것.
• 이미지 간에 네트워크가 의미적으로 유사하게 인식하는 영역을 시각화하여 CNN 표현의 해석 가능성을 제공하는 것.
• 지도 학습이나 수작업으로 만든 피봇 없이도 공세그멘테이션 및 부분 세그멘테이션 벤치마크에서 경쟁 가능한 성능을 달성하는 것.

제안 방법

• 사전 훈련된 CNN 레이어의 활성화 맵에 비음수 행렬 분해(NMF)를 적용하여 특징 행렬을 비음수 요인으로 분해하는 것.
• 여러 이미지의 특징 맵을 하나의 행렬로 간주하며, 각 열은 모든 이미지의 공간적 위치에 대응하는 것.
• 결과로 얻은 NMF 기저 벡터를 열매지 형태로 재구성하여 이미지 집합 간 의미적으로 매칭되는 영역을 강조하는 것.
• 요소 수 $k$ 를 사용하여 발견의 해상도를 제어하며, 높은 $k$ 값은 더 세밀한 부분 수준 국소화를 가능하게 한다.
• 열매지 패턴을 알려진 부분 카테고리와 매칭하여 DFF 요소에 대해 반자동 또는 자동으로 레이블링을 수행하는 것.
• 특징 공간 내 계층적 클러스터링을 활용하여 객체의 부분(예: 몸통 클러스터 내의 끈다리)에 대응하는 하위 클러스터를 식별하는 것.

실험 결과

연구 질문

• RQ1 CNN 특징에 NMF를 적용할 경우, 객체의 부분과 전체 객체에 대응하는 계층적 의미적 구조를 드러낼 수 있는가?
• RQ2 정렬 조정이나 애너테이션 없이도 사전 훈련된 CNN이 이미지 간에 의미적으로 유의미한 대응 관계를 발견할 수 있는가?
• RQ3 DFF는 훈련 중에 볼 수 없었던 새로운 객체 클래스의 부분(예: 새로운 객체 유형)을 국소화할 수 있는가?
• RQ4 공세그멘테이션 및 공로컬라이제이션 작업에서 DFF는 최신 기술 수준의 방법들과 비교해 어떤가?
• RQ5 동일한 객체 클래스 내에서 서로 다른 부분(예: 머리 vs. 흉부)을 DFF가 구분할 수 있는가?

주요 결과

• DFF는 공세그멘테이션 및 공로컬라이제이션 벤치마크에서 지도 학습이나 강력한 피봇에 의존하는 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.
• For $k=3$, DFF는 PASCAL-Parts 데이터셋에서 '귀/눈/머리/코' 부분에 대해 IoU 38을 기록하여 높은 국소화 정확도를 입증한다.
• With $k=4$, DFF는 모터사이클 이미지의 60%에서 '사람' 클래스를 성공적으로 국소화하여 공통 객체 내 하위 클래스 탐지를 가능하게 함을 보여준다.
• DFF는 특징 공간 내 계층적 클러스터링을 드러내며, 예를 들어 '몸통' 클러스터 내에 '다리'와 '팔'로 분리되는 '다리' 하위 클러스터가 존재함을 확인한다.
• DFF는 지상 진술 애너테이션보다 더 세밀한 영역을 국소화할 수 있으며, 지상 진술이 이러한 구분을 해소하지 못하더라도 바퀴의 상단과 하단을 구분할 수 있다.
• 다섯 장의 이미지만을 기반으로 한 반자동 DFF 요소 레이블링이 정확한 부분 레이블링을 가능하게 하여, 이 방법의 해석 가능성과 일관성을 확인한다.