[논문 리뷰] Multi-label Learning with Missing Labels using Mixed Dependency Graphs

Baoyuan Wu, Fan Jia외 3명|arXiv (Cornell University)|2018. 03. 31.

Text and Document Classification Technologies참고 문헌 44인용 수 5

한 줄 요약

이 논문은 인스턴스 수준의 유사도, 의미적 레이블 계층 구조, 클래스 동시출현도, 저질서/희소 레이블 행렬 분해를 통합하는 혼합 종속성 그래프를 사용하여 누락된 레이블이 있는 다중 레이블 학습을 위한 두 가지 볼록 최적화 프레임워크인 MLMG-CO와 MLMG-SL을 제안한다. 이 방법들은 기준 데이터셋에서 이미지 주석 및 태그 기반 이미지 검색에서 최신 기술 수준의 성능을 달성하며, 구조화된 레이블 종속성 모델링을 통해 레이블 희소성에 대해 강건함을 보여준다.

ABSTRACT

This work focuses on the problem of multi-label learning with missing labels (MLML), which aims to label each test instance with multiple class labels given training instances that have an incomplete/partial set of these labels. The key point to handle missing labels is propagating the label information from provided labels to missing labels, through a dependency graph that each label of each instance is treated as a node. We build this graph by utilizing different types of label dependencies. Specifically, the instance-level similarity is served as undirected edges to connect the label nodes across different instances and the semantic label hierarchy is used as directed edges to connect different classes. This base graph is referred to as the mixed dependency graph, as it includes both undirected and directed edges. Furthermore, we present another two types of label dependencies to connect the label nodes across different classes. One is the class co-occurrence, which is also encoded as undirected edges. Combining with the base graph, we obtain a new mixed graph, called MG-CO (mixed graph with co-occurrence). The other is the sparse and low rank decomposition of the whole label matrix, to embed high-order dependencies over all labels. Combining with the base graph, the new mixed graph is called as MG-SL (mixed graph with sparse and low rank decomposition). Based on MG-CO and MG-SL, we propose two convex transductive formulations of the MLML problem, denoted as MLMG-CO and MLMG-SL, respectively. Two important applications, including image annotation and tag based image retrieval, can be jointly handled using our proposed methods. Experiments on benchmark datasets show that our methods give significant improvements in performance and robustness to missing labels over the state-of-the-art methods.

연구 동기 및 목표

• 학습 인스턴스의 레이블이 불완전하거나 누락된 경우 다중 레이블 학습의 과제를 해결하기 위해.
• 일련의 레이블 종속성—인스턴스 유사도, 의미적 계층 구조, 클래스 동시출현도, 고차원 레이블 구조—를 통합된 그래프 프레임워크 내에서 모델링하기 위해.
• 이미지 주석 및 태그 기반 이미지 검색을 동시에 최적화할 수 있도록 볼록 최적화 공식을 개발하기 위해.
• 구조화된 레이블 종속성을 활용하여 레이블 공급이 적은 상황에서도 강건성과 성능을 향상시키기 위해.
• 공개용으로 사용 가능한 수작업으로 구성된 의미적 계층 구조 및 의미적으로 보강된 진짜 레이블 행렬을 제공하기 위해.

제안 방법

• 인스턴스 수준의 유사도와 클래스 동시출현도에서 유도된 무방향 간선과 의미적 레이블 계층 구조에서 유도된 유도 간선을 조합하여 혼합 종속성 그래프(MG-CO)를 구성한다.
• 클래스 동시출현도를 전체 레이블 행렬의 희소 및 저질서 분해로 대체하여 고차원 레이블 종속성을 모델링함으로써 MG-SL을 도입한다.
• 인스턴스 유사도와 클래스 동시출현도를 위한 2차 평탄성 항과 의미적 계층 구조를 위한 선형 제약 조건을 포함하는 볼록 최적화 문제인 MLMG-CO를 제안한다.
• 희소 및 저질서 행렬 분해를 두 개의 보조 행렬과 원래 레이블 행렬에 대한 등가 제약 조건을 통해 최적화에 통합함으로써 MLMG-SL을 개발한다.
• 양자화된 알고리즘인 ADMM 알고리즘을 사용하여 두 볼록 공식을 효율적으로 해결함으로써 확장성과 수렴성을 보장한다.
• 최적화 문제의 벡터화 재정의를 통해 볼록성 증명과 알고리즘 안정성을 보장한다.

실험 결과

연구 질문

• RQ1 다양한 유형의 레이블 종속성—인스턴스 유사도, 의미적 계층 구조, 클래스 동시출현도, 저질서 구조—을 통합하면 누락된 레이블이 있는 다중 레이블 학습에서 성능 향상에 기여하는가?
• RQ2 레이블 행렬의 희소 및 저질서 분해가 고차원 레이블 관계 모델링에 어떻게 기여하는가?
• RQ3 통합된 프레임워크가 레이블 희소성 하에서 이미지 주석 및 태그 기반 이미지 검색을 동시에 최적화할 수 있는가?
• RQ4 레이블이 부분적으로 누락된 상황에서 제안된 방법이 최신 기술 수준의 접근법보다 정확도와 강건성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 수작업으로 구성된 의미적 계층 구조가 동시출현도나 유사도만을 사용할 경우에 비해 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 MLMG-CO 및 MLMG-SL 방법은 누락된 레이블이 있는 다중 레이블 학습을 위한 네 가지 기준 데이터셋에서 최신 기술 수준의 방법보다 뚜렷한 성능 향상을 달성한다.
• 의미적 레이블 계층 구조와 클래스 동시출현도의 통합은 높은 레이블 희소성 하에서도 더 강건한 예측을 가능하게 한다.
• MLMG-SL에서의 희소 및 저질서 분해는 고차원 레이블 종속성을 효과적으로 포착하여 불완전한 데이터에서의 일반화 능력을 향상시킨다.
• 두 방법 모두 이미지 주석 및 태그 기반 이미지 검색을 동시에 지원하여 공유된 레이블 표현을 가진 이중 작업 학습을 가능하게 한다.
• 이 방법들은 레이블 누락에 대해 강력한 저항성을 보이며, 제공된 레이블의 비율이 매우 낮은 경우에도 높은 성능을 유지한다.
• 수작업으로 구성된 의미적 계층 구조 및 의미적으로 보강된 진짜 레이블 행렬의 공개는 향후 다중 레이블 학습 분야의 연구에 기여할 것으로 기대된다.