[논문 리뷰] Unsupervised learning of object semantic parts from internal states of CNNs by population encoding

Jianyu Wang, Zhishuai Zhang외 3명|arXiv (Cornell University)|2015. 11. 21.

Advanced Neural Network Applications참고 문헌 30인용 수 38

한 줄 요약

이 논문은 CNN 필터의 집단 활성화를 클러스터링하여 객체의 의미적 부분을 비지도로 탐지하는 방법을 제안하며, 의미적이고 시각적으로 일관된 객체 부분을 나타내는 '시각적 개념'을 도입한다. 이 방법은 단일 필터보다 우수한 밀도 높고 공간적으로 커버링되는 부분 검출기를 식별하며, 여러 시각적 개념이 종종 시각적으로 유사한 의미적 부분에 대응하는 것으로 나타났다. 이는 PASCAL3D+와 새로운 밀도 주석이 부여된 ImageNetPart 데이터셋에서 검증되었다.

ABSTRACT

We address the key question of how object part representations can be found from the internal states of CNNs that are trained for high-level tasks, such as object classification. This work provides a new unsupervised method to learn semantic parts and gives new understanding of the internal representations of CNNs. Our technique is based on the hypothesis that semantic parts are represented by populations of neurons rather than by single filters. We propose a clustering technique to extract part representations, which we call Visual Concepts. We show that visual concepts are semantically coherent in that they represent semantic parts, and visually coherent in that corresponding image patches appear very similar. Also, visual concepts provide full spatial coverage of the parts of an object, rather than a few sparse parts as is typically found in keypoint annotations. Furthermore, We treat single visual concept as part detector and evaluate it for keypoint detection using the PASCAL3D+ dataset and for part detection using our newly annotated ImageNetPart dataset. The experiments demonstrate that visual concepts can be used to detect parts. We also show that some visual concepts respond to several semantic parts, provided these parts are visually similar. Thus visual concepts have the essential properties: semantic meaning and detection capability. Note that our ImageNetPart dataset gives rich part annotations which cover the whole object, making it useful for other part-related applications.

연구 동기 및 목표

• 분류 작업을 위해 훈련된 CNN의 내부 상태에서 객체 의미적 부분이 어떻게 표현되는지 이해하기 위해.
• 인간 주석이 없는 비지도 방법을 개발하여 의미적으로 유의미한 객체 부분을 탐지하기 위해.
• 뉴런 활성화의 클러스터링(시각적 개념)이 관절점 및 부분 검출 작업에 효과적인 부분 검출기로 기능할 수 있는지 평가하기 위해.
• 특히 여러 부분이 시각적으로 유사하거나 겹치는 반응을 공유할 경우, 시각적 개념과 의미적 부분 간의 대응 관계를 분석하기 위해.
• 희소 관절점 주석을 초월하여 부분 검출 평가를 지원하기 위해, 의미적 부분과 배경 영역을 밀도 있게 주석 처리한 새로운 데이터셋 ImageNetPart를 구축하기 위해.

제안 방법

• CNN 특징 맵의 공간 위치와 채널을 기준으로 특징 활성화를 클러스터링하여 '시각적 개념'을 형성함—공유된 의미적 및 시각적 패턴을 나타내는 뉴런 그룹.
• 각 시각적 개념을 활성화 중심과 입력 패치의 특징 반응 간의 거리를 측정하여 부분 검출기로 정의함.
• PASCAL3D+에서 평균 정밀도(AP)를 사용하여 관절점 검출에 대해 시각적 개념을 평가하고, 단일 필터 및 지도 학습 기반 베이스라인과 비교함.
• PASCAL3D+의 이미지를 활용하여 여섯 가지 객체 클래스를 의미적 부분과 배경 영역으로 밀도 있게 주석 처리하여 ImageNetPart 데이터셋을 구축함.
• 단일 부분(SingleSP) 및 다중 부분(MultipleSP) 평가 전략을 통해 시각적 개념과 의미적 부분 간의 대응 관계를 분석하고, 빠진 검출에 대해 보상함.
• 시각적 유사성과 공간 일관성을 사용하여 클러스터를 해석하고, 여러 유사한 부분, 배경, 또는 명확한 의미적 맵핑이 없는 경우를 식별함.

실험 결과

연구 질문

• RQ1 CNN 내부 특징 활성화의 비지도 클러스터링이 의미적으로 일관되고 시각적으로 조밀한 객체 부분을 탐지할 수 있는가?
• RQ2 시각적 개념은 관절점 및 부분 검출에서 단일 필터나 지도 학습 방법보다 어떻게 비교되는가?
• RQ3 특히 여러 부분이 시각적으로 유사할 경우, 시각적 개념과 의미적 부분 간의 진정한 대응 관계는 무엇인가?
• RQ4 시각적 개념은 동시에 여러 의미적 부분을 검출할 수 있는가? 만약 그렇다면 어떤 시각적 조건에서 가능한가?
• RQ5 배경 영역과 클러스터링 아티팩트는 시각적 개념의 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• 시각적 개념은 의미적으로도, 시각적으로도 일관성이 있으며, 각 클러스터에 속한 이미지 패치들이 매우 유사하게 보이며 실제로 바퀴나 창문과 같은 실제 객체 부분에 대응한다.
• PASCAL3D+에서 관절점 검출에 대해 높은 평균 정밀도(AP)를 달성하여 단일 필터를 사용한 검출 및 지도 학습 기반 베이스라인을 모두 초월한다.
• ImageNetPart 데이터셋에서 시각적 개념은 의미적 부분을 효과적으로 검출하며, 각 개념이 시각적으로 유사한 부분의 소량(2–4개)을 검출할 수 있도록 허용할 경우 AP가 크게 향상된다.
• 대부분의 시각적 개념은 하나에서 네 개의 의미적 부분을 검출하며, 특히 외관이 유사한 부분(예: 측면 창문과 앞면 창문, 측면 몸체와 지면 영역)일 경우에 특히 그렇다.
• 상당수의 시각적 개념은 배경 영역(예: 비행기의 하늘, 기차의 궤도)을 검출하며, 소수의 경우는 클러스터링 또는 특징 한계로 인해 명확한 의미적 대응이 없는 것으로 나타났다.
• 각 의미적 부분에 대해 여러 시각적 개념을 조합할 경우 평균 AP가 0.25 향상되어 앙상블 검출이 성능 향상에 기여함을 입증한다.