[논문 리뷰] Mining Object Parts from CNNs via Active Question-Answering

Quanshi Zhang, Ruiming Cao외 2명|arXiv (Cornell University)|2017. 04. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 42인용 수 7

한 줄 요약

이 논문은 인간의 피드백을 활용하여 점진적으로 확장되는 And-Or 그래프(AOG)를 사용해 사전에 학습된 CNN에서 해석 가능한 객체 부분 개념을 추출하기 위한 주동 질문-답변 프레임워크를 제안한다. CNN 특징의 잠재적 패턴을 활용하고 주동 학습을 통해 설명되지 않은 객체에 집중함으로써, 부분 정렬 성능을 fast-RCNN 수준으로 유지하면서도 부분 애너테이션의 1/6에서 1/3만으로 줄여 인간의 애너테이션 비용을 크게 감소시킨다.

ABSTRACT

Given a convolutional neural network (CNN) that is pre-trained for object classification, this paper proposes to use active question-answering to semanticize neural patterns in conv-layers of the CNN and mine part concepts. For each part concept, we mine neural patterns in the pre-trained CNN, which are related to the target part, and use these patterns to construct an And-Or graph (AOG) to represent a four-layer semantic hierarchy of the part. As an interpretable model, the AOG associates different CNN units with different explicit object parts. We use an active human-computer communication to incrementally grow such an AOG on the pre-trained CNN as follows. We allow the computer to actively identify objects, whose neural patterns cannot be explained by the current AOG. Then, the computer asks human about the unexplained objects, and uses the answers to automatically discover certain CNN patterns corresponding to the missing knowledge. We incrementally grow the AOG to encode new knowledge discovered during the active-learning process. In experiments, our method exhibits high learning efficiency. Our method uses about 1/6-1/3 of the part annotations for training, but achieves similar or better part-localization performance than fast-RCNN methods.

연구 동기 및 목표

• 사전에 학습된 CNN 내의 잠재 지식을 해석 가능하게 조직화하여 객체 부분 이해를 위한 방법을 개발한다.
• 완전한 약한 지도 학습 또는 엔드 투 엔드 학습 대신 주동 질문-답변를 통해 부분 정렬의 인간 애너테이션 부담을 줄인다.
• 해석 가능한 AOG를 점진적이고 인간이 이끄는 방식으로 성장시켜 CNN 활성화에서 계층적 부분 구조를 모델링할 수 있도록 한다.
• 기존 AOG가 설명하지 못하는 객체에 집중함으로써 최소한의 감독으로 높은 부분 정렬 성능를 달성한다.

제안 방법

• 사전에 학습된 CNN을 사용해 객체 부분을 검출하고, 현재 AOG가 부분의 외관을 설명하지 못하는 이미지를 식별한다.
• 이득 예측 모델을 기반으로 가장 정보가 많은 설명되지 않은 객체를 선택하여 인간에게 질문을 제기하며, AOG 향상에 기여할 가능성이 가장 높은 객체를 우선순위로 한다.
• 인간의 답변을 바탕으로 기존에 누락된 부분 템플릿에 해당하는 CNN 내 새로운 신경 패턴을 발견한다.
• 이러한 새로운 패턴을 사용해 AOG에 새로운 분지들을 추가하며, AND 노드는 구성적 영역을, OR 노드는 대체 가능한 부분 템플릿을 표현한다.
• AOG는 네 단계의 의미적 계층을 인코딩한다: 부분(OR 노드), 부분 템플릿(AND 노드), 잠재적 패턴(OR 노드), CNN 유닛(잎 노드), 원본 CNN 가중치는 미세조정하지 않는다.
• 모델 드리프트를 방지하기 위해 사전에 학습된 특징을 재사용하고 기존 활성화에서만 패턴을 채굴 및 정리한다.

실험 결과

연구 질문

• RQ1 사전에 학습된 CNN이 해석 가능한 And-Or 그래프(AOG)를 통해 계층적 부분 구조를 드러내는 방식으로 의미적으로 해석될 수 있는가?
• RQ2 주동 질문-답변를 통해 최소한의 인간 지도로 새로운 부분 템플릿을 점진적으로 탐색하는 데에 효율적인가?
• RQ3 인간 피드백을 활용해 CNN에서 잠재적 패턴을 채굴함으로써 기존의 약한 지도 학습 또는 엔드 투 엔드 방법보다 더 나은 부분 정렬 성능를 달성할 수 있는가?
• RQ4 fast-RCNN과 유사한 성능를 달성하면서도 부분 애너테이션 수를 크게 줄일 수 있는가?

주요 결과

• Pascal VOC Part 데이터셋에서 이 방법은 단 10개의 부분 애너테이션만으로 fast-RCNN가 60개의 애너테이션을 사용해 학습한 성능을 초월했다.
• ILSVRC 2013 DET Animal-Part 데이터셋에서 이 방법은 부분 애너테이션의 1/6에서 1/3만으로 fast-RCNN 성능을 따라하거나 초월했다.
• fast-RCNN를 개선하기 위해 병합한 결과, 30개의 애너테이션으로 PCP 점수 50.5를 기록했으며, 동일한 애너테이션 수로 fast-RCNN의 45.7을 뛰어넘었다.
• 주동 QA 과정은 공통적이거나 모델링이 부족한 부분 외관에 효율적으로 집중하여, 이미 설명된 또는 희귀한 케이스에 대한 낭비된 애너테이션 노력이 줄었다.
• AOG 성장 과정은 높은 학습 효율성을 보였으며, 반복적인 인간 피드백과 패턴 채굴을 통해 성능이 점진적으로 향상되었다.
• CNN 가중치를 미세조정하지 않아 모델 드리프트를 방지했으며, 기존 사전에 학습된 특징을 재사용하고 새로운 부분 템플릿을 위한 정리만 수행했다.