[논문 리뷰] LaSO: Label-Set Operations networks for multi-label few-shot learning

Amit Alfassy, Leonid Karlinsky외 6명|arXiv (Cornell University)|2019. 02. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 42인용 수 7

한 줄 요약

LaSO는 입력 이미지 특징에서 특징 벡터를 합성함으로써 레이블셋 연산(예: 교차, 합집합, 뺄셈)을 수행하는 새로운 신경망 아키텍처를 소개한다. 이 방법은 미분 가능한 연산을 통해 특징을 효과적으로 조합함으로써 MS-COCO에서 최신 기술 성능을 달성하며, 검색 기반 베이스라인을 능가하고 복잡한 레이블 조합의 정확한 제로샷 예측을 가능하게 한다.

ABSTRACT

Example synthesis is one of the leading methods to tackle the problem of few-shot learning, where only a small number of samples per class are available. However, current synthesis approaches only address the scenario of a single category label per image. In this work, we propose a novel technique for synthesizing samples with multiple labels for the (yet unhandled) multi-label few-shot classification scenario. We propose to combine pairs of given examples in feature space, so that the resulting synthesized feature vectors will correspond to examples whose label sets are obtained through certain set operations on the label sets of the corresponding input pairs. Thus, our method is capable of producing a sample containing the intersection, union or set-difference of labels present in two input samples. As we show, these set operations generalize to labels unseen during training. This enables performing augmentation on examples of novel categories, thus, facilitating multi-label few-shot classifier learning. We conduct numerous experiments showing promising results for the label-set manipulation capabilities of the proposed approach, both directly (using the classification and retrieval metrics), and in the context of performing data augmentation for multi-label few-shot learning. We propose a benchmark for this new and challenging task and show that our method compares favorably to all the common baselines.

연구 동기 및 목표

• 각 클래스에 대해 몇 개의 레이블된 예제만 제공되는 다중 레이블 소수 샘플 학습 문제를 해결하기 위해.
• 학습 중에 볼 수 없었던 복잡한 레이블 조합에 대한 제로샷 예측을 가능하게 하기 위해.
• 딥 신경망을 사용하여 레이블셋(예: 교차, 합집합, 뺄셈)에 대한 엔드 투 엔드 미분 가능한 연산을 학습하기 위해.
• 입력 레이블의 논리적 조합을 나타내는 특징 벡터를 합성함으로써 일반화 능력을 향상시키기 위해.
• 학습된 레이블셋 연산의 효과성을 실제 이미지 이해 작업에서 입증하기 위해.

제안 방법

• LaSO는 입력 이미지 특징에서 논리적 레이블셋 연산을 나타내는 합성 특징 벡터로 매핑하는 미분 가능한 신경망을 학습한다.
• 모델은 목표 레이블셋 연산(예: A ∩ B)에 해당하는 진짜 특징 벡터에 가장 가까운 특징 벡터를 예측하도록 훈련된다.
• 교차, 합집합, 뺄셈과 같은 레이블셋 연산은 여러 입력 이미지의 특징 표현을 학습된 방식으로 미분 가능한 방식으로 조합함으로써 수행된다.
• 이 방법은 검색 기반의 감독을 사용하며, 모델은 목표 레이블셋에 해당하는 검증 세트 내 최근접 이웃과 일치하는 특징 벡터를 생성하도록 학습된다.
• 학습된 파rameter 없이 연산을 계산하는 분석적 변형인 분석적 LaSO가 도입되었으며, 이는 강력한 베이스라인으로 기능한다.
• 프레임워크는 MS-COCO에서 평가되었으며, 훈련에 64개의 카테고리가 사용되었고, 검증 세트에서 제로샷 추론이 수행되었다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 소수 샘플 예제로부터 레이블의 논리적 조합(예: 교차 또는 합집합)을 나타내는 특징 벡터를 합성할 수 있는가?
• RQ2 학습 중에 볼 수 없었던 레이블셋 조합에 대해 학습된 LaSO 연산은 검색 기반 베이스라인보다 얼마나 잘 일반화되는가?
• RQ3 모델은 뺄셈 및 A \ (B ∩ C)와 같은 중첩된 연산과 같은 다양한 연산에서 효과적으로 작동하는가?
• RQ4 학습 데이터에 존재하지 않는 복잡한 레이블 세트에 대해 제로샷 예측으로 일반화되는가?
• RQ5 정확도와 강건성 측면에서 학습된 LaSO는 분석적 변형 및 표준 검색 방법보다 어떻게 비교되는가?

주요 결과

• LaSO는 특징 공간에서 진짜 최근접 이웃과 매우 유사한 특징 벡터를 합성함으로써 제로샷 다중 레이블 예측에서 뛰어난 성능을 달성한다.
• 학습된 LaSO 연산은 개별 입력을 사용하는 검색 기반 베이스라인보다 특히 A \ (B ∩ C)와 같은 복잡한 연산에서 뚜렷이 뛰어난 성능을 보인다.
• 시각적 결과는 LaSO에서 합성된 특징 벡터가 진짜 레이블과 의미적으로 일치함을 보여주며, 청색 테두리로 둘러싸인 예측이 지도 개념과 일치함을 입증한다.
• 분석적 LaSO 변형은 경쟁적인 성능을 보이며, 레이블셋 연산의 기하학적 구조가 의미가 있으며 학습 가능한 것임을 시사한다.
• 모델은 복잡한 레이블 조합에 대해 잘 일반화되며, MS-COCO에서 다중 레이블 소수 샘플 시나리오에서 강건함을 입증한다.
• 프레임워크는 교차, 합집합, 뺄셈 및 중첩 조합을 포함한 다양한 연산을 성공적으로 처리하며, 그 유연성을 확인한다.