[논문 리뷰] Tinkering Under the Hood: Interactive Zero-Shot Learning with Net Surgery

Vivek Krishnan, Deva Ramanan|arXiv (Cornell University)|2016. 12. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 4

한 줄 요약

이 논문은 '넷 서지'(Net Surgery)를 통해 상호작용형 제로샷 학습을 도입한다. 이는 시각적 부분의 그림어휘를 사용하여 사전에 학습된 CNN을 재구성함으로써, 추가 학습 데이터 없이도 새로운 개념(예: '줄무늬가 있는 자동차')을 탐지할 수 있도록 한다. 내부 필터 활성화를 시각화하고 재조합하여 공간적으로 구조화된 그림어휘 분류기(PLC)를 생성함으로써, 최소한 한 개의 질문된 시각적 부분을 탐지할 때 mAP 93.1%를 달성하며, 강력한 제로샷 일반화 성능을 입증한다.

ABSTRACT

We consider the task of visual net surgery, in which a CNN can be reconfigured without extra data to recognize novel concepts that may be omitted from the training set. While most prior work make use of linguistic cues for such "zero-shot" learning, we do so by using a pictorial language representation of the training set, implicitly learned by a CNN, to generalize to new classes. To this end, we introduce a set of visualization techniques that better reveal the activation patterns and relations between groups of CNN filters. We next demonstrate that knowledge of pictorial languages can be used to rewire certain CNN neurons into a part model, which we call a pictorial language classifier. We demonstrate the robustness of simple PLCs by applying them in a weakly supervised manner: labeling unlabeled concepts for visual classes present in the training data. Specifically we show that a PLC built on top of a CNN trained for ImageNet classification can localize humans in Graz-02 and determine the pose of birds in PASCAL-VOC without extra labeled data or additional training. We then apply PLCs in an interactive zero-shot manner, demonstrating that pictorial languages are expressive enough to detect a set of visual classes in MS-COCO that never appear in the ImageNet training set.

연구 동기 및 목표

• 학습 데이터에 존재하지 않는 새로운 시각적 개념의 제로샷 탐지를 가능하게 하기 위해.
• 사람이 언어가 아닌 시각적 의미를 사용하여 네트워크 재구성에 지도할 수 있는 상호작용 프레임워크를 개발하기 위해.
• 필터 활성화와 공간적 관계의 시각화를 통해 내부 CNN 표현을 해석하고 재구성하기 위해.
• 사전에 학습된 CNN이 재사용 가능한 부분 기반 특징을 암묵적으로 학습하고 있으며, 인간이 이끌어가는 재구성으로 이를 재사용할 수 있음을 입증하기 위해.
• 실세계 데이터셋(MS-COCO, PASCAL VOC)에서 추가 레이블이 없는 조건에서도 접근법을 검증하기 위해.

제안 방법

• 특정 필터를 최대한 활성화하는 이미지 패치를 식별하여 내부 CNN 표현을 시각화함으로써 계층적이고 망막형 특징 맵을 드러내기 위해.
• 필터 반응의 클러스터를 해석하여 시각적 개념(예: 무늬, 부분, 물체)으로 간주함으로써 그림어휘를 구성하기 위해.
• 공존, 상대적 위치와 같은 공간 논리를 사용해 시각적 부분을 조합하는 시각적 부분 기반 분류기(PLC)의 공간 문법을 정의하기 위해.
• 사전에 학습된 CNN 위에 PLC를 추가 레이어로 삽입하여 엔드 투 엔드 미세조정 없이 네트워크를 재구성하기 위해.
• 부정적 부분(예: '줄무늬가 있는 자동차'에서 머리 부분 점수를 빼기)을 사용하여 탐지 정밀도를 향상시키고 오분류를 줄이기 위해.
• 사용자 연구와 Recall 10에서의 mAP를 통해 부분적 또는 전체 시각적 개념 탐지 정확도를 평가하기 위해.

실험 결과

연구 질문

• RQ1 사전에 학습된 CNN이 추가 학습 데이터 없이도 새로운 시각적 개념을 탐지하도록 재구성할 수 있는가?
• RQ2 사람 사용자가 언어적 신호가 아닌 시각적 신호를 사용하여 CNN 내부 표현을 효과적으로 해석하고 재구성할 수 있는가?
• RQ3 시각적 부분의 그림어휘가 새로운 개념에 대해 정확하고 일반화 가능한 탐지기 구축에 충분한가?
• RQ4 복잡한 시각적 개념에 대해 부정적 부분의 사용이 탐지 정밀도 향상에 얼마나 효과적인가?
• RQ5 실세계 벤치마크에서 약한 지도 학습 및 제로샷 설정에서 PLC가 높은 성능을 달성할 수 있는가?

주요 결과

• 사전에 학습된 ImageNet CNN 기반의 그림어휘 분류기(PLC)는 레이블이 전혀 없는 조건에서 PASCAL VOC 2007 검증 세트에서 좌우 방향의 새 탐지에 대해 87.5%의 자세 정확도를 달성하였다.
• 이 방법은 추가 학습 없이 Graz-02 데이터셋에서 사람을 정확히 국소화하여, 이전에 보지 못한 객체 클래스에 대한 강력한 제로샷 일반화 성능을 입증하였다.
• MS-COCO에서 새로운 개념 탐지에 대해, 최소한 한 개의 질문된 시각적 부분을 탐지할 때 평균 평균 정밀도(mAP)가 0.931에 도달하였다.
• 모든 질문된 시각적 부분을 탐지할 때의 mAP는 Recall 10에서 0.401이었으며, 이는 전체 개념 일치가 어렵지만 부분 탐지가 매우 효과적임을 시사한다.
• 부정적 부분(예: 동물 머리 점수를 빼기)을 통합함으로써 점수 맵과 재정렬 성능이 크게 향상되었으며, 기린과 유사한 영역에서의 오분류가 감소하였다.
• 사용자 연구 결과, 참가자들이 시각적 질의를 신뢰성 있게 해석하고 탐지 품질을 평가할 수 있었으며, 이는 그림어휘 접근법의 직관적인 사용성에 대한 검증이 되었다.