[논문 리뷰] Growing Interpretable Part Graphs on ConvNets via Multi-Shot Learning

Quanshi Zhang, Ruiming Cao외 2명|arXiv (Cornell University)|2016. 11. 14.

Advanced Neural Network Applications참고 문헌 34인용 수 10

한 줄 요약

이 논문은 3~12개의 부분 애너테이션만을 사용하여 특징 맵에서 신뢰할 수 있는 은닉 패턴을 추출함으로써 사전 훈련된 ConvNets에 해석 가능한 부분 그래프를 성장시키는 다중 샷 학습 방법을 제안한다. 이는 CNN 유닛과 의미적 부분을 연결하는 계층적 And-Or 그래프(이하 AOG)를 구성하여, PASCAL VOC 및 ImageNet에서 기준 방법 대비 부분 중심 예측 성능을 13%~107% 향상시킨다.

ABSTRACT

This paper proposes a learning strategy that extracts object-part concepts from a pre-trained convolutional neural network (CNN), in an attempt to 1) explore explicit semantics hidden in CNN units and 2) gradually grow a semantically interpretable graphical model on the pre-trained CNN for hierarchical object understanding. Given part annotations on very few (e.g., 3-12) objects, our method mines certain latent patterns from the pre-trained CNN and associates them with different semantic parts. We use a four-layer And-Or graph to organize the mined latent patterns, so as to clarify their internal semantic hierarchy. Our method is guided by a small number of part annotations, and it achieves superior performance (about 13%-107% improvement) in part center prediction on the PASCAL VOC and ImageNet datasets.

연구 동기 및 목표

• 재학습 없이 사전 훈련된 CNN에서 명시적 의미 개념을 추출하여 블랙박스 표현의 해석 가능성을 제공한다.
• CNN 특징 맵 내 은닉 패턴을 활용하여 소수의 샷 학습을 통해 부분 국소화를 가능하게 한다.
• 의미적 부분의 구조와 공간 관계를 포괄하는 계층적이고 해석 가능한 그래픽 모델(And-Or 그래프)을 구축한다.
• 각 부분당 3~12개의 애너테이션 예시만을 사용하여 새로운 의미적 그래프를 점진적으로 성장시킴으로써 대규모 애너테이션에 대한 의존도를 감소시킨다.
• 시간과 데이터가 제한된 실세계 응용 분야(예: 로봇 조작)에 적합한 실시간 학습을 가능하게 한다.

제안 방법

• 애너테이션된 이미지 전반에서 일관되게 부분 또는 맥락 영역을 나타내는 유닛을 식별함으로써 사전 훈련된 CNN 특징 맵에서 안정적인 은닉 패턴을 추출한다.
• 4층으로 구성된 And-Or 그래프(AOG)를 정의한다. OR 노드는 대체 가능한 부분 템플릿을 나타내며, AND 노드는 부분 분해를 나타내며, 3층의 OR 노드는 부분 또는 맥락을 인코딩하고, 종단 노드는 CNN 유닛이다.
• 활성화 일관성, 공간 안정성, 공존 빈도를 기반으로 한 메트릭을 사용하여 노이즈에서 신뢰할 수 있는 은닉 패턴을 구분한다.
• 반응 강도, 이상적인 위치에서의 공간 변형, 상위 레이어 패턴과의 쌍별 공간 호환성 등을 고려하여 종단 노드의 추론 점수를 제안한다.
• 기본값 위치 ($\overline{\bf P}_{V^{\textrm{lat}}}$) 및 이격($\Delta{\bf P}_{V^{\textrm{lat}}}$)과 같은 AOG의 핵심 파라미터를 지상 진술 부분 애너테이션으로부터 추정한다.
• 계층적 추론을 수행한다: 먼저 고수준 은닉 패턴을 추론하고, 이를 바탕으로 학습된 공간 및 반응 제약 조건을 통해 하위 레이어의 유닛 선택을 유도한다.

실험 결과

연구 질문

• RQ1 소수의 부분 애너테이션만을 사용하여 사전 훈련된 CNN에서 해석 가능한 의미적 부분 구조를 추출할 수 있는가?
• RQ2 CNN 특징 맵에서 의미 있는 부분 또는 맥락에 대응하는 안정적인 은닉 패턴을 어떻게 식별할 수 있는가?
• RQ3 사전 훈련된 CNN에 대해 파라미터 재조정 없이 계층적 And-Or 그래프를 점진적으로 성장시켜 의미적 부분 계층을 모델링할 수 있는가?
• RQ4 최소한의 감독 신호로 정확하고 강건한 부분 국소화를 가능하게 하는 점수 기반 메커니즘은 무엇인가?
• RQ5 이 방법은 엔드 투 엔드 파라미터 재조정 또는 기준 검출 방법 대비 부분 국소화 성능을 어느 정도 향상시키는가?

주요 결과

• 기준 방법 대비 PASCAL VOC 및 ImageNet 데이터셋에서 부분 중심 예측 정확도를 13%~107% 향상시킨다.
• 학습된 AOG를 활용하여 개의 머리 등 객체 부분을 성공적으로 재구성함으로써 해석 가능성과 구조적 정확성을 입증한다.
• 다양한 자세와 외관에서도 안정적인 성능을 보이며, 변형 및 공간 변형에 대해 강건함을 입증한다.
• 애너테이션되지 않은 이미지로의 일반화 능력이 뛰어나, 동일 카테고리의 애너테이션되지 않은 인스턴스에서도 자주 발견되는 은닉 패턴을 추출한다.
• 반응 강도, 공간 변형, 쌍별 호환성 점수의 조합이 최소한의 감독 조건에서도 정확한 국소화를 가능하게 한다.
• 한 개의 애너테이션으로도 새로운 부분에 대해 실시간 학습이 가능하여, 실세계 환경에서 애너테이션 비용을 크게 감소시킨다.