[논문 리뷰] Discovering Internal Representations from Object-CNNs Using Population Encoding

Jianyu Wang, Zhishuai Zhang외 2명|arXiv (Cornell University)|2015. 11. 21.

Advanced Neural Network Applications인용 수 8

한 줄 요약

이 논문은 다중 레이어를 통해 객체-CNN의 내부 표현으로부터 분산된 중위 수준의 객체 부분 의미를 추출하는 군집 기반 방법인 팝ول레이션 인코딩을 제안한다. 단일 필터가 아닌 신경 세포 반응 패턴을 분석함으로써, 단일 필터 검출기보다 우수한 객체 부분 검출 성능를 달성하였으며, 키포인트 애너테이션을 제공하는 PASCAL3D+ 데이터셋을 통해 검증되었다.

ABSTRACT

In this paper, we provide a method for understanding the internal representations of Convolutional Neural Networks (CNNs) trained on objects. We hypothesize that the information is distributed across multiple neuronal responses and propose a simple clustering technique to extract this information, which we call \emph{population encoding}. The population encoding technique looks into the entrails of an object-CNN at multiple layers of the network and shows the implicit presence of mid-level object part semantics distributed in the neuronal responses. Our qualitative visualizations show that population encoding can extract mid-level image patches that are visually tighter than the patches that produce high single-filter activations. Moreover, our comprehensive quantitative experiments using the object key point annotations from the PASCAL3D+ dataset corroborate the visualizations by demonstrating the superiority of population encoding over single-filter detectors, in the task of object-part detection. We also perform some preliminary experiments where we uncover the compositional relations between the adjacent layers using the parts detected by population encoding clusters. Finally, based on the insights gained from this work, we point to various new directions which will enable us to have a better understanding of the CNN's internal representations.

연구 동기 및 목표

• 객체-CNN의 내부 표현이 중위 수준의 객체 부분 의미를 어떻게 인코딩하는지 이해하는 것.
• 단일 필터 활성화 방법의 한계를 해결하는 것 — 이러한 방법은 뉴런 간 분산 정보를 포착하지 못한다.
• 집합적 신경 세포 반응에서 의미 있는, 시각적으로 조밀한 객체 부분 패치를 추출하는 방법을 개발하는 것.
• 애너테이션된 키포인트 데이터를 사용하여 팝울레이션 인코딩의 효과성을 정량적으로 평가하는 것.
• 검출된 부분을 통해 인접한 네트워크 레이어 간의 조합적 관계를 탐색하는 것.

제안 방법

• 팝울레이션 인코딩은 훈련된 객체-CNN의 다수의 필터와 레이어에 걸쳐 신경 세포 반응을 군집하여 객체 부분의 분산 표현을 식별한다.
• 이 방법은 개별 고활성 필터에 의존하기보다는 일관된 방식으로 다수의 필터를 자극하는 이미지 패치를 식별한다.
• 특징 맵을 다양한 네트워크 깊이에서 군집하여 주목할 만하고 의미 있는 영역을 추출한다.
• 이 접근법은 PASCAL3D+ 데이터셋의 키포인트 애너테이션을 활용하여 검출 성능을 정량적으로 평가한다.
• 팝울레이션 인코딩을 통해 검출된 부분이 연속된 레이어를 통해 어떻게 전파되고 공존하는지 분석함으로써 인접 레이어 간의 조합적 관계를 분석한다.
• 팝울레이션 인코딩과 단일 필터 활성화 방식으로 검출된 패치의 공간적 조밀성과 의미적 관련성을 비교하기 위해 시각화를 생성한다.

실험 결과

연구 질문

• RQ1 다중 필터와 레이어에 걸친 분산된 신경 세포 반응이 객체-CNN에서 중위 수준의 객체 부분 의미를 어떻게 인코딩할 수 있는가?
• RQ2 팝울레이션 인코딩은 단일 필터 활성화 방식에 비해 객체 부분 검출에서 더 높은 공간 정밀도를 어떻게 달성하는가?
• RQ3 팝울레이션 인코딩을 통해 검출된 부분이 PASCAL3D+ 데이터셋의 인간 애너테이션 키포인트 위치와 어느 정도 일치하는가?
• RQ4 인접한 네트워크 레이어 간에 검출된 객체 부분 사이에 존재하는 조합적 관계는 무엇인가?
• RQ5 팝울레이션 인코딩은 CNN의 내부 표현에서 계층적 또는 구조적 관계를 드러낼 수 있는가?

주요 결과

• 팝울레이션 인코딩은 단일 필터 활성화 방식에 의해 식별된 것보다 더 시각적으로 조밀하고 의미적으로 더 일관된 중위 수준의 객체 부분 패치를 성공적으로 추출한다.
• PASCAL3D+ 데이터셋에서의 정량적 평가 결과, 팝울레이션 인코딩은 단일 필터 검출기보다 객체 부분 검출 정확도에서 뛰어난 성능을 보였다.
• 팝울레이션 인코딩을 통해 검출된 부분은 인간이 애너테이션한 키포인트 위치와 강한 일치를 보이며, 그 의미적 관련성을 확인한다.
• 이 방법은 인접한 레이어 간의 조합적 관계를 드러내어, 더 깊은 레이어에서 부분들이 계층적으로 구조화되어 있음을 시사한다.
• 시각화 결과는 고립된 필터 반응보다 뉴런 간 분산된 반응이 더 풍부하고 더 체계적인 의미 정보를 인코딩하고 있음을 보여준다.