[논문 리뷰] Learning to Learn in a Semi-Supervised Fashion

Yun-Chun Chen, Chao-Te Chou외 1명|arXiv (Cornell University)|2020. 08. 25.

Video Surveillance and Tracking Methods참고 문헌 97인용 수 5

한 줄 요약

이 논문은 라벨된 데이터와 라벨이 없는 데이터의 레이블 세트가 분리되어 있는 경우(예: 인물 재식별 및 이미지 검색에서 흔한 상황)를 고려한 새로운 메타러닝 프레임워크를 제안한다. 클래스별 유사도 점수를 피팅하는 대신, 라벨된 데이터에서 의미론적 유사도 표현을 학습하고 이를 라벨이 없는 데이터로 전이함으로써 자기지도 학습 기반의 가짜 레이블링을 가능하게 하며, 준지도 학습 설정에서 Market-1501과 DukeMTMC-reID에서 최신 기준 성능을 달성한다.

ABSTRACT

To address semi-supervised learning from both labeled and unlabeled data, we present a novel meta-learning scheme. We particularly consider that labeled and unlabeled data share disjoint ground truth label sets, which can be seen tasks like in person re-identification or image retrieval. Our learning scheme exploits the idea of leveraging information from labeled to unlabeled data. Instead of fitting the associated class-wise similarity scores as most meta-learning algorithms do, we propose to derive semantics-oriented similarity representations from labeled data, and transfer such representation to unlabeled ones. Thus, our strategy can be viewed as a self-supervised learning scheme, which can be applied to fully supervised learning tasks for improved performance. Our experiments on various tasks and settings confirm the effectiveness of our proposed approach and its superiority over the state-of-the-art methods.

연구 동기 및 목표

• 라벨된 데이터와 라벨이 없는 데이터의 카테고리가 겹치지 않는 이미지 매칭 작업에서 준지도 학습 문제를 해결하기 위해.
• 라벨이 없는 클래스의 수에 대한 사전 지식이 필요 없이, 라벨된 데이터에서 의미론적 유사도 표현을 라벨이 없는 데이터로 전이할 수 있는 방법을 개발하기 위해.
• 라벨이 없는 데이터의 특징 학습을 이끄는 유의미한 유사도 표현을 유도함으로써 자기지도 학습을 가능하게 하기 위해.
• 제한된 감독 하에 인물 재식별 및 이미지 검색 성능을 향상시키기 위해.
• 제안된 방법을 완전히 지도 학습 설정으로 확장하여 더 넓은 적용 가능성을 입증하기 위해.

제안 방법

• 메타러닝 기반의 프레임워크를 통해 무작위로 샘플된 라벨된 이미지 쌍에서 의미론적 유사도 표현을 학습한다.
• 유사한 이미지가 높은 유사도 점수를, 비슷하지 않은 이미지가 낮은 유사도 점수를 가지도록 하는 대비 학습 목표를 사용하여 학습된 표현 공간에서의 유사도를 강화한다.
• 학습된 유사도 표현을 라벨이 없는 데이터로 전이하여 특징 학습을 이끌고, 레이블 겹침이 없더라도 가짜 레이블 할당을 가능하게 한다.
• 라벨된 데이터에 대한 지도형 대비 손실과 라벨이 없는 데이터에 대한 자기지도형 대비 손실을 조합하여 엔드 투 엔드로 프레임워크를 훈련한다.
• 이러한 접근은 AlignedReID 및 BoT와 같은 기존의 딥 메트릭 학습 모델과 호환되며, 제안된 메타러닝 전략을 통합함으로써 성능 향상을 이룰 수 있다.
• 라벨된 데이터에서 학습된 의미 구조를 활용하여 라벨이 없는 데이터의 표현 학습을 이끄는 자기지도 학습 방식으로 작동한다.

실험 결과

연구 질문

• RQ1 레이블 세트가 분리된 상황에서 메타러닝 프레임워크가 라벨된 데이터에서 유의미한 유사도 표현을 라벨이 없는 데이터로 효과적으로 전이할 수 있는가?
• RQ2 의미론적 유사도 표현을 학습함으로써 준지도 학습 기반 인물 재식별 및 이미지 검색 성능가 어떻게 향상되는가?
• RQ3 제안된 방법이 완전히 지도 학습 설정으로 일반화될 수 있는 정도는 어느 정도이며, 기존 최신 기준 모델을 초월하는가?
• RQ4 라벨이 없는 클래스의 수를 사전에 알지 못해도 라벨이 없는 데이터에 대해 효과적인 가짜 레이블링을 수행할 수 있는가?
• RQ5 준지도 및 완전히 지도 학습 설정에서 기존 최신 기준 방법들과 비교해 모델 성능가 어떻게 되는가?

주요 결과

• Market-1501 데이터셋에서, 제안된 방법은 AlignedReID와 조합했을 때 랭크-1 정확도 91.1%와 mAP 78.1%를 달성하여 기본 모델을 능가했다.
• DukeMTMC-reID에서, AlignedReID와 조합했을 때 랭크-1 정확도 81.7%와 mAP 67.7%를 기록하여 일관된 향상을 보였다.
• BoT와 조합했을 때, Market-1501에서 랭크-1 정확도 94.8%와 mAP 86.1%를 달성하여 원본 BoT 성능을 초월했다.
• DukeMTMC-reID에서 BoT와 조합했을 때 랭크-1 정확도 86.6%와 mAP 76.8%를 기록하여 다양한 데이터셋에 대한 강력한 일반화 능력을 입증했다.
• 준지도 학습 설정에서 Market-1501과 DukeMTMC-reID 양쪽 모두에서 최신 기준 성능을 달성하며 기존 SOTA 방법들을 능가했다.
• t-SNE를 통한 시각화 결과, 학습된 의미론적 유사도 표현이 라벨이 없는 데이터 공간에서 더 잘 분리된 특징 임베딩을 이끌어낸다는 것이 확인되었다.