[논문 리뷰] A Concise yet Effective model for Non-Aligned Incomplete Multi-view and Missing Multi-label Learning

Xiang Li, Songcan Chen|arXiv (Cornell University)|2020. 05. 03.

Text and Document Classification Technologies참고 문헌 51인용 수 7

한 줄 요약

이 논문은 레이블 부족, 시각 불완전성, 시각 비정렬 문제를 동시에 해결하기 위해 단일 하이퍼파rameter를 사용하는 간결한 모델을 제안한다. 지표 행렬을 활용해 전역(고랭크) 및 국소(저랭크) 레이블 구조 모델링을 통해 다양한 시각 간 레이블을 정렬하며, 선형 시간 복잡도를 확보함으로써 다섯 개인 실세계 데이터셋에서 비정렬 상태에서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In reality, learning from multi-view multi-label data inevitably confronts three challenges: missing labels, incomplete views, and non-aligned views. Existing methods mainly concern the first two and commonly need multiple assumptions to attack them, making even state-of-the-arts involve at least two explicit hyper-parameters such that model selection is quite difficult. More roughly, they will fail in handling the third challenge, let alone addressing the three jointly. In this paper, we aim at meeting these under the least assumption by building a concise yet effective model with just one hyper-parameter. To ease insufficiency of available labels, we exploit not only the consensus of multiple views but also the global and local structures hidden among multiple labels. Specifically, we introduce an indicator matrix to tackle the first two challenges in a regression form while aligning the same individual labels and all labels of different views in a common label space to battle the third challenge. In aligning, we characterize the global and local structures of multiple labels to be high-rank and low-rank, respectively. Subsequently, an efficient algorithm with linear time complexity in the number of samples is established. Finally, even without view-alignment, our method substantially outperforms state-of-the-arts with view-alignment on five real datasets.

연구 동기 및 목표

• 다시보기 다중레이블 학습에서 누락된 레이블, 불완전한 시각, 비정렬된 시각을 동시에 다루는 공동 과제를 해결한다.
• 기존 방법에서 흔히 볼 수 있는 다수의 가정과 하이퍼파rameter에 대한 의존도를 줄인다.
• 레이블 부족, 시각 불완전성, 시각 비정렬 문제를 동시에 다룰 수 있는 통합 프레임워크를 개발한다.
• 사전 정렬이나 강력한 가정 없이도 시각 간 효과적인 레이블 정렬을 가능하게 한다.
• 단일 하이퍼파rameter를 통해 최소한의 사용자 간섭으로 높은 성능을 달성한다.

제안 방법

• 재귀적 프레임워크 내에서 레이블 가용성과 시각 완전성을 모델링하기 위해 지표 행렬을 도입한다.
• 다양한 시각에서의 개별 레이블과 전체 레이블을 동일한 레이블 공간으로 동시에 정렬한다.
• 다중레이블 데이터의 전역 구조를 고랭크로, 국소 구조를 저랭크로 모델링하여 레이블 간 관계를 유지한다.
• 표현을 동시에 학습하고, 누락된 데이터를 처리하며, 레이블 정렬을 강제하는 최적화 문제를 설정한다.
• 샘플 수에 대해 선형 시간 복잡도를 가지는 효율적인 알고리즘을 설계하여 확장성을 확보한다.
• 교차 최적화를 사용하여 목적 함수를 해결함으로써 수렴성과 실용적 효율성을 보장한다.

실험 결과

연구 질문

• RQ1 단일이고 통합된 모델이 최소한의 가정으로 누락된 레이블, 불완전한 시각, 비정렬된 시각을 동시에 효과적으로 다룰 수 있는가?
• RQ2 전역(고랭크) 및 국소(저랭크) 레이블 구조 모델링을 통합함으로써 불완전한 다시보기 다중레이블 학습에서 성능 향상이 어떻게 이루어지는가?
• RQ3 다중 하이퍼파rameter가 필요한 최신 기술 수준의 방법들에 비해 오직 하나의 하이퍼파rameter만을 갖는 모델이 얼마나 뛰어난 성능을 내는가?
• RQ4 학습 시 시각 정렬을 강제하지 않더라도 제안된 방법이 강력한 성능을 유지하는가?
• RQ5 선형 시간 복잡도를 갖는 만큼, 데이터 크기가 증가함에 따라 제안된 방법은 어떻게 확장되는가?

주요 결과

• 제안된 방법은 시각 정렬 없이도 다섯 개의 실세계 데이터셋에서 최신 기술 수준의 성능을 달성하며, 정렬에 의존하는 기존 방법들을 능가한다.
• 오직 하나의 하이퍼파rameter만을 사용함으로써 모델 선택이 크게 단순화되었으며, 다수의 파rameter가 필요한 방법들에 비해 유의미하게 개선되었다.
• 전역(고랭크) 및 국소(저랭크) 레이블 구조 모델링의 통합은 레이블 표현을 향상시키고 일반화 능력을 향상시킨다.
• 알고리즘은 샘플 수에 대해 선형 시간 복잡도를 확보하여 대규모 데이터셋에서도 효율적인 학습을 가능하게 한다.
• 실증 결과에 따르면, 이 방법은 누락된 레이블과 불완전한 시각에 대해 강건하며, 평가된 모든 데이터셋에서 일관된 성능 향상을 보였다.
• 제거 분석 결과, 전역 및 국소 레이블 구조 모델링 구성 요소가 성능 향상에 기여하는 데 있어 상당한 기여를 했다.