[논문 리뷰] Interactively Transferring CNN Patterns for Part Localization

Quanshi Zhang, Ruiming Cao외 4명|arXiv (Cornell University)|2017. 08. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 17

한 줄 요약

이 논문은 최소한의 인간 입력을 통해 사전 훈련된 CNN의 잠재 패턴을 객체 부분 정렬에 전이하기 위한 상호작용 방식을 제안한다. 합성곱층으로부터 활성화 패턴을 추출하고, 사용자가 And-Or 그래프(AOG)를 통해 이를 보완함으로써 인간의 인식 능력을 활용해 노이즈가 있거나 잘못된 패턴을 수정함으로써, 소수의 예시 설정에서 특히 뛰어난 정밀도를 달성한다. 이는 엔드 투 엔드 학습 기반 모델보다 우수한 성능을 보인다.

ABSTRACT

In the scenario of one/multi-shot learning, conventional end-to-end learning strategies without sufficient supervision are usually not powerful enough to learn correct patterns from noisy signals. Thus, given a CNN pre-trained for object classification, this paper proposes a method that first summarizes the knowledge hidden inside the CNN into a dictionary of latent activation patterns, and then builds a new model for part localization by manually assembling latent patterns related to the target part via human interactions. We use very few (e.g., three) annotations of a semantic object part to retrieve certain latent patterns from conv-layers to represent the target part. We then visualize these latent patterns and ask users to further remove incorrect patterns, in order to refine part representation. With the guidance of human interactions, our method exhibited superior performance of part localization in experiments.

연구 동기 및 목표

• 매우 적은 수의 레이블이 있는 경우(1~3개)에 객체 부분 검출기 학습에 도전하는 것 — 엔드 투 엔드 CNN 훈련은 노이즈에 과적합되거나 의미적인 부분을 포착하지 못할 수 있음.
• CNN에서 유도된 잠재 패턴의 사용자 참여 기반 보완을 통해 부분 정렬의 의미적 정확성과 강건성을 확보하는 것.
• 사전 훈련된 CNN의 지식을 인간이 이해할 수 있는 AOG 모델로 전이할 수 있는 일반화 가능한 프레임워크 개발.
• 사전 훈련된 CNN 특징과 상호작용적 패턴 선택을 융합하여 약한 감독 설정 하에서 부분 정렬 성능 향상.

제안 방법

• 빈도가 높고, 맥락적으로 관련성이 있으며, 공간적으로 일관된 패턴을 강조하는 통계 기준을 사용해 사전 훈련된 CNN의 합성곱층에서 수백 개의 잠재 활성화 패턴을 추출.
• 잠재 패턴을 And-Or 그래프(AOG)로 표현하여 의미적 계층을 모델링: CNN 유닛 → 잠재 패턴 → 부분 템플릿 → 의미적 부분.
• 업-컨볼루션 네트워크(up-conv-net)를 사용해 다양한 네트워크 깊이에서의 잠재 패턴을 시각화함으로써, 저수준 세부 정보와 고수준 맥락을 인간이 검토할 수 있도록 함.
• 시각적 검토 기반으로 관련이 없는 AOG 노드(즉, 패턴)를 수동으로 제거함으로써 배경 노이즈와 오염된 활성화를 효과적으로 제거.
• 최종 AOG 모델을 인간이 검증한 의미적으로 관련 있는 패턴들만 조합하여 구축하고, 이를 부분 정렬에 활용.
• 정규화된 거리(normalized distance)를 평가 지표로 사용하며, 객체 바운딩 박스를 이용해 이미지의 부분을 추출하여 부분 검출 성능를 고립적으로 평가함.

실험 결과

연구 질문

• RQ1 사용자 참여 기반 보완이 소수의 예시 학습 환경에서 부분 정렬 성능을 향상시킬 수 있는가?
• RQ2 사전 훈련된 CNN의 내부 표현을 효과적으로 추출하고 인간이 이해할 수 있는 모델로 전이할 수 있는가?
• RQ3 AOG 기반의 상호작용적 패턴 선택이 최소한의 감독 하에서 엔드 투 엔드 학습보다 더 높은 성능을 내는가?
• RQ4 사용자 인식이 이끄는 상황에서 저수준 및 고수준 CNN 특징이 정확한 부분 정렬에 어떻게 기여하는가?

주요 결과

• 제안된 방법은 Pascal VOC Part 데이터셋에서 최고 성능을 기록하였으며, 새 부리의 정규화된 거리는 0.1225, 목은 0.1570, 날개는 0.1580, 고양이 눈은 0.1331로, Mining-raw 기반 모델보다 뛰어난 성능을 보였다.
• ILSVRC 2013 DET Animal-Part 데이터셋에서 평균 정규화된 거리가 전반적으로 감소하여, 소수의 예시 설정에서 일관된 우수성을 입증하였다.
• CUB200-2011 데이터셋 평가에서, 특히 새의 머리(이마)와 같이 도전적인 부분에 대해 기준 모델보다 낮은 정규화된 거리를 기록하였다.
• 사용자 상호작용 시간은 평균적으로 이미지당 12.3초였으며, 단일 부분 바운딩 박스 레이블링에는 평균 3.4초가 소요되어 상호작용 사용에 실용적인 효율성을 보였다.
• 시각화 결과, 저층 패턴은 세부 정보(예: 부리의 질감)를 포착하는 데 유용했고, 고층 패턴은 맥락적 관계를 표현하는 데 효과적이었으며, 인간의 선택이 이들 패턴을 효과적으로 보완함을 확인하였다.
• 사용자 보완 후 AOG 기반 모델은 정렬 정확도가 뚜렷이 향상되었으며, 이는 인간의 인식이 노이즈가 있거나 잘못된 CNN 패턴을 효과적으로 수정함을 확인한다.