[논문 리뷰] GM-PLL: Graph Matching based Partial Label Learning

Gengyu Lyu, Songhe Feng외 3명|arXiv (Cornell University)|2019. 01. 10.

Text and Document Classification Technologies참고 문헌 37인용 수 4

한 줄 요약

이 논문은 부분 레이블 학습을 위한 새로운 그래프 매칭 기반 프레임워크인 GM-PLL을 제안한다. 이는 작업을 인스턴스-레이블 매칭 선택 문제로 재정의한다. 확률적 그래프 매칭을 다대일 제약 조건으로 확장하고, 이완된 예측 모델을 도입하여 후보 레이블을 효과적으로 해석하고, 인위적 및 실세계 데이터셋에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성한다.

ABSTRACT

Partial Label Learning (PLL) aims to learn from the data where each training example is associated with a set of candidate labels, among which only one is correct. The key to deal with such problem is to disambiguate the candidate label sets and obtain the correct assignments between instances and their candidate labels. In this paper, we interpret such assignments as instance-to-label matchings, and reformulate the task of PLL as a matching selection problem. To model such problem, we propose a novel Graph Matching based Partial Label Learning (GM-PLL) framework, where Graph Matching (GM) scheme is incorporated owing to its excellent capability of exploiting the instance and label relationship. Meanwhile, since conventional one-to-one GM algorithm does not satisfy the constraint of PLL problem that multiple instances may correspond to the same label, we extend a traditional one-to-one probabilistic matching algorithm to the many-to-one constraint, and make the proposed framework accommodate to the PLL problem. Moreover, we also propose a relaxed matching prediction model, which can improve the prediction accuracy via GM strategy. Extensive experiments on both artificial and real-world data sets demonstrate that the proposed method can achieve superior or comparable performance against the state-of-the-art methods.

연구 동기 및 목표

• 각 인스턴스가 하나의 정답 레이블을 포함하는 후보 레이블 집합과 연결된 훈련 데이터에서 학습하는 데 도전하는 것.
• 기존 부분 레이블 학습(PLL) 방법의 한계를 극복하는 것 — 즉, 전역적인 인스턴스 관계를 忽시하거나 인스턴스-레이블 할당의 동시 발생을 명시적으로 모델링하지 못함.
• 인스턴스 간 관계와 최적의 인스턴스-레이블 할당을 동시에 모델링하기 위해 PLL을 구조화된 매칭 선택 문제로 재정의하는 것.
• 여러 인스턴스가 동일한 레이블로 매핑될 수 있는 PLL의 본질적인 다대일 제약 조건을 수용하는 그래프 매칭 프레임워크를 개발하는 것.
• 예측 정확도를 향상시키기 위해 불확실성 있는 레이블 할당을 허용하는 이완된 그래프 매칭 예측 모델을 통해 강인성과 일반화 능력을 향상시키는 것.

제안 방법

• 정답 레이블 할당을 식별할 수 있는 매칭으로 간주하는 것과 동일하게, 부분 레이블 학습을 인스턴스-레이블 매칭 선택 문제로 재구성하는 것.
• 기존의 일대일 확률적 그래프 매칭 기법을 확장하여 다수의 인스턴스가 동일한 레이블로 매핑될 수 있도록 다대일 제약 조건을 가진 그래프 매칭 알고리즘을 제안하는 것.
• 데이터 간 관계를 모델링하기 위해 인스턴스 수준의 유사도와 레이블 동시 발생 패턴을 통합된 그래프 구조에 통합하는 것.
• 레이블 할당의 불확실성을 허용하는 이완된 그래프 매칭 예측 모델을 도입하여 노이즈가 있는 후보 레이블에 대한 강인성을 향상시키는 것.
• 매칭 과정에서 유용한 정보를 유지하고 노이즈를 제거하는 데 균형을 이루기 위해 임계값 파라미터 β를 사용하는 것.
• 교차 검증을 통해 검증된 공식에 기반해, 미리 보지 못한 인스턴스의 후보 레이블 수 r을 결정하는 것.

실험 결과

연구 질문

• RQ1 인스턴스-레이블 할당을 매칭으로 모델링함으로써 그래프 매칭이 부분 레이블 학습 문제에 효과적으로 적응할 수 있는가?
• RQ2 PLL의 다대일 제약 조건이 확률적 그래프 매칭 프레임워크에 어떻게 공식적으로 통합될 수 있는가?
• RQ3 인스턴스 간 관계와 레이블 동시 발생 패턴을 함께 통합함으로써 부분 레이블 학습에서 해석 능력과 예측 정확도가 향상되는가?
• RQ4 이완된 그래프 매칭 예측 모델은 기존의 표준 매칭 접근법에 비해 강인성과 성능을 향상시킬 수 있는가?
• RQ5 β와 r과 같은 하이퍼파라미터가 다양한 데이터셋에서 모델의 일반화 능력과 성능에 미치는 영향은 어떠한가?

주요 결과

• GM-PLL는 인위적 및 실세계 데이터셋 모두에서 최신 기술 수준의 PLL 방법과 비교해 뛰어난 성능 또는 경쟁력을 보였다.
• 노이즈 필터링을 위한 최적의 임계값 β는 교차 검증을 통해 결정되었으며, 데이터셋 간 범위는 0.3에서 0.8로 다양하여 데이터셋에 민감한 특성을 보였다.
• 미리 보지 못한 인스턴스의 후보 레이블 수 r은 경험적으로 예측 가능한 추세를 따르며, 식 (10)에 의해 계산된 r*는 대부분의 데이터셋에서 경험적으로 최적의 r**와 매우 유사하게 일치했다.
• 대부분의 UCI 데이터셋에서 GM-PLL의 총 실행 시간은 30초 이내였고, 모든 실세계 데이터셋에서는 1.5시간 이내로 유지되어 합리적인 계산 효율성을 보였다.
• GM-PLL의 테스트 시간은 매우 짧았으며, SoccerPlayer 데이터셋에서 가장 긴 추론 시간이 422초에 불과하여 추론에 대한 확장성은 뛰어났다.
• 모든 실세계 데이터셋에서 GM-PLL의 총 실행 시간은 PL-LEAF의 1/10에 불과하여 일부 이전 방법에 비해 뚜렷한 효율성 향상을 보였다.