[논문 리뷰] A Survey on Extreme Multi-label Learning

Tong Wei, Zhen Mao외 3명|arXiv (Cornell University)|2022. 10. 08.

Text and Document Classification Technologies인용 수 7

한 줄 요약

이 종합적 서베이는 극단적 다중 레이블 학습(Extreme Multi-Label Learning, XML)에 대한 포괄적인 개요를 제공하며, 공식 정의, 모델 아키텍처, 장수 분포와 같은 과제들, 핵심 방법론적 범주를 다룹니다. 기존 접근법을 평가하고 공개 자원을 정리하며, 개방 집합 학습, 스트리밍 레이블, 누락된 레이블, 비전 및 영역 지식 통합과 같은 향후 연구 방향을 규명합니다.

ABSTRACT

Multi-label learning has attracted significant attention from both academic and industry field in recent decades. Although existing multi-label learning algorithms achieved good performance in various tasks, they implicitly assume the size of target label space is not huge, which can be restrictive for real-world scenarios. Moreover, it is infeasible to directly adapt them to extremely large label space because of the compute and memory overhead. Therefore, eXtreme Multi-label Learning (XML) is becoming an important task and many effective approaches are proposed. To fully understand XML, we conduct a survey study in this paper. We first clarify a formal definition for XML from the perspective of supervised learning. Then, based on different model architectures and challenges of the problem, we provide a thorough discussion of the advantages and disadvantages of each category of methods. For the benefit of conducting empirical studies, we collect abundant resources regarding XML, including code implementations, and useful tools. Lastly, we propose possible research directions in XML, such as new evaluation metrics, the tail label problem, and weakly supervised XML.

연구 동기 및 목표

• 대규모 시나리오에서 전통적 다중 레이블 학습의 한계를 해결하기 위해, 지도 학습 내에서 극단적 다중 레이블 학습(XML)의 공식 정의를 제시하는 것.
• 장수 분포 및 메모리 제약과 같은 문제 특화 과제를 바탕으로 모델 아키텍처와 방법론을 체계적으로 분류하고 분석하는 것.
• 코드 구현 및 도구를 포함한 공개 가능한 자원을 정리하고 공유하여 XML 분야의 경험적 연구를 지원하는 것.
• 개방 집합 학습, 스트리밍 레이블, 누락된 레이블, 컴퓨터 비전 및 영역 지식 통합과 같은 새로운 연구 방향을 규명하고 논의하는 것.

제안 방법

• 각 인스턴스가 매우 큰 레이블 공간(예: 수백만 개)에서 다수의 레이블과 연결되는 지도 학습 과제로 XML을 공식 정의하는 것.
• 계층적, 임베딩 기반, 딥 러닝 접근법과 같은 모델 아키텍처 기반으로 XML 방법을 범주화하고, 각각의 강점과 한계를 분석하는 것.
• 확장성, 레이블 상관관계 모델링, 장수 분포 처리, 누락된 레이블 지원, 추론 효율성 등 다섯 가지 평가 성질을 사용한 XML 방법의 체계적 비교를 제안하는 것.
• 쌍별 순위 매기기, 클러스터링, 베이지안 네트워크와 같은 레이블 상관관계 모델링 기법을 검토하고, XML에 대한 확장성에 대해 논의하는 것.
• 외부 지식(예: 위키백과)의 사용을 제안하여 레이블 상관관계 모델링을 향상시키고 데이터 부족 문제를 줄이는 것.
• 장수 이미지 인식에서 유래한 기법들(예: 클래스 균형 샘플링, 로짓 조정)을 XML에 적용하는 방식을 논의하며, 특히 다중 모odal 환경에서의 적용 가능성을 다룸.

실험 결과

연구 질문

• RQ1 극단적 다중 레이블 학습은 스케일과 계산 제약 조건 측면에서 기존의 다중 레이블 학습과 어떻게 공식적으로 정의되고 구분될 수 있는가?
• RQ2 XML 방법들 간의 주요 아키텍처적 및 알고리즘적 차이점은 무엇이며, 확장성과 레이블 상관관계 모델링과 같은 핵심 평가 성질에서 성능은 어떻게 나타나는가?
• RQ3 장수 분포에서 꼬리 레이블이 부족하게 나타나고 성능이 열 劣한 상황에서 XML 모델은 어떻게 효과적으로 대처할 수 있는가?
• RQ4 신규 또는 알려지지 않은 레이블이 추론 도중에 나타나는 개방 집합 및 스트리밍 레이블 시나리오로의 XML 확장에서의 과제와 기회는 무엇인가?
• RQ5 외부 지식과 다중 모달 데이터(예: 텍스트 및 이미지)는 어떻게 활용되어 XML 성능을 향상시킬 수 있으며, 특히 데이터가 적은 상황에서 어떤 영향을 미치는가?

주요 결과

• 모든 바람직한 성질를 동시에 지원하는 단일 XML 방법은 존재하지 않으며, 확장성, 레이블 상관관계 모델링, 장수 분포 처리 간의 상충 관계가 존재한다.
• 레이블 상관관계를 명시적으로 모델링하는 방법들(예: 베이지안 네트워크 또는 클러스터링 사용)은 높은 계산 비용을 유발하고, 수백만 개의 레이블에 대해 확장성이 떨어지는 경향이 있다.
• 기존 접근법들은 데이터 부족으로 인해 꼬리 레이블에서 어려움을 겪으며, 이로 인해 꼬리 레이블의 성능은 헤드 레이블보다 뚜렷하게 열 劣하다. 이는 보다 나은 클래스 균형 기법의 필요성을 강조한다.
• 장수 이미지 인식에서 유래한 기법들인 클래스 균형 샘플링 및 로짓 조정은 XML에서는 아직 충분히 탐색되지 않았지만, 꼬리 레이블 성능 향상에 유망한 가능성을 보이고 있다.
• 외부 지식(예: 위키백과)의 통합은 레이블 유사도 추정을 향상시키고, 특히 데이터가 부족한 상황에서 일반화 성능을 향상시킬 수 있다.
• MUFIN은 XML 원칙을 다중 모달 학습에 적용한 선구적 연구로, XML을 비전-언어 작업으로 확장할 잠재력을 보여주는 사례로 규명되었다.