[논문 리뷰] Prototype Propagation Networks (PPN) for Weakly-supervised Few-shot Learning on Category Graph

Lu Liu, Tianyi Zhou외 4명|arXiv (Cornell University)|2019. 05. 10.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 약어 클래스 레이블이 부여된 약한 레이블 데이터를 활용하여 소수의 샘플로 분류 성능을 향상시키는 메타학습 프레임워크인 프로토타입 전파 네트워크(PPN)를 제안한다. 주어진 카테고리 그래프를 통해 어텐션 기반 메커니즘을 이용해 프로토타입을 전파함으로써, KNN 분류 정확도를 향상시키며, WS-ImageNet-Pure 및 WS-ImageNet-Mix에서 최신 기술 수준(SOTA) 성능을 달성한다. 기존 기준 대비 1-shot 설정에서 최대 15%의 상대적 향상률을 기록한다.

ABSTRACT

A variety of machine learning applications expect to achieve rapid learning from a limited number of labeled data. However, the success of most current models is the result of heavy training on big data. Meta-learning addresses this problem by extracting common knowledge across different tasks that can be quickly adapted to new tasks. However, they do not fully explore weakly-supervised information, which is usually free or cheap to collect. In this paper, we show that weakly-labeled data can significantly improve the performance of meta-learning on few-shot classification. We propose prototype propagation network (PPN) trained on few-shot tasks together with data annotated by coarse-label. Given a category graph of the targeted fine-classes and some weakly-labeled coarse-classes, PPN learns an attention mechanism which propagates the prototype of one class to another on the graph, so that the K-nearest neighbor (KNN) classifier defined on the propagated prototypes results in high accuracy across different few-shot tasks. The training tasks are generated by subgraph sampling, and the training objective is obtained by accumulating the level-wise classification loss on the subgraph. The resulting graph of prototypes can be continually re-used and updated for new tasks and classes. We also introduce two practical test/inference settings which differ according to whether the test task can leverage any weakly-supervised information as in training. On two benchmarks, PPN significantly outperforms most recent few-shot learning methods in different settings, even when they are also allowed to train on weakly-labeled data.

연구 동기 및 목표

• 메타학습 프레임워크에 약한 감독을 받는 근사한 레이블 데이터를 통합하여 소수의 샘플로 분류 성능을 향상시키는 것.
• 소수의 샘플로 분류 학습에서의 레이블 데이터 부족 문제를 해결하기 위해 저비용의 계층적 카테고리 관계를 활용하는 것.
• 관련된 클래스들 간에 지식을 전달하기 위해 카테고리 그래프를 기반으로 한 프로토타입 전파 메커니즘을 개발하는 것.
• 재사용 가능한 그래프 기반 계산 모델을 통해 새로운 작업과 클래스에 대해 프로토타입을 지속적으로 적응시키는 것.

제안 방법

• PPN은 근사한 수준에서 레이블이 부여된 약한 레이블 데이터와 소수의 샘플로 구성된 작업을 함께 학습하며, 계층적 클래스 관계를 모델링하기 위해 카테고리 그래프를 사용한다.
• 어텐션 메커니즘이 그래프 상에서 부모 클래스에서 자식 클래스로 프로토타입을 전파하기 위한 간선 가중치를 계산한다.
• 레벨 단위의 학습 목표를 사용하여 카테고리 그래프에서 샘플링된 부분 그래프들에 대해 분류 손실을 최소화한다.
• 역전파를 통해 프로토타입을 업데이트함으로써, 정밀한 클래스에서 더 근사한 클래스로, 그리고 그 반대로 오차 신호가 흐르도록 한다.
• 테스트 시 약한 레이블 데이터에 접근할 수 있는지 여부에 따라 두 가지 추론 설정을 지원한다.
• 새로운 작업들에 지속적으로 사용 가능한 프로토타입의 계산 그래프를 유지하고 업데이트한다.

실험 결과

연구 질문

• RQ1 약한 감독을 받는 근사한 레이블 데이터가 메타학습에서 소수의 샘플로 분류 성능을 크게 향상시킬 수 있는가?
• RQ2 카테고리 그래프를 통해 프로토타입을 전파함으로써 저자료 환경에서 일반화 성능이 향상되는가?
• RQ3 어텐션 기반 전파 메커니즘이 의미적으로 관련된 클래스들 간에 지식을 효과적으로 전달하는가?
• RQ4 약한 레이블 데이터가 소수의 샘플로 분류 작업과 관련이 없을 경우, 이 방법의 성능은 얼마나 견고한가?
• RQ5 기존의 메타학습 기준 모델이 약한 레이블 데이터를 학습에 활용하고 있음에도 불구하고, 프로토타입 전파 메커니즘이 그들을 능가할 수 있는가?

주요 결과

• PPN는 WS-ImageNet-Pure에서 최신 기술 수준의 성능을 달성하였으며, 다른 방법들 대비 1-shot 분류에서 15%의 상대적 향상률을 기록했다.
• PPN+는 WS-ImageNet-Pure에서 모든 기준 모델을 앞서며, 특히 1-shot 설정에서의 성능 향상으로써 약한 레이블 데이터 통합의 효과를 입증했다.
• 약한 레이블 데이터가 소수의 샘플로 분류 작업과 관련이 없는 WS-ImageNet-Mix에서는 여전히 1-shot 정확도에서 10%의 상대적 향상률을 기록했다.
• 전파된 프로토타입의 가중치(1−λ)를 증가시킬수록 검증 정확도가 일관되게 향상되었으며, 이는 전파 메커니즘의 효과성을 확인한다.
• PPN의 평균 반복 시간은 프로토타입 네트워크(Prototypical Networks) 대비 약 10% 뿐이 증가하여, 최소한의 계산 오버헤드로 효율적인 추론이 가능함을 시사한다.
• 약한 레이블 데이터가 소수의 샘플로 분류 작업과 직접적으로 연결되어 있지 않더라도 모델의 성능이 유지됨을 통해, 데이터 분포의 변화에 대해 뛰어난 견고성을 보였다.