[논문 리뷰] Incorporating Multiple Cluster Centers for Multi-Label Learning

Senlin Shu, Fengmao Lv외 4명|arXiv (Cornell University)|2020. 04. 17.

Text and Document Classification Technologies인용 수 4

한 줄 요약

이 논문은 실제 데이터의 클러스터 중심에서 가상 예제를 생성함으로써 국소적 레이블 상관관계와 중요도를 인코딩하는 새로운 데이터 증강 방법을 제안한다. 실수와 가상 예제 간 유사성을 강제하는 새로운 정규화 항을 도입하여 모델의 스무딩을 향상시키고, 표준 지표에서 평균 7.1%와 6.0%의 성능 향상을 달성하여 최신 기술 수준을 초월한다.

ABSTRACT

Multi-label learning deals with the problem that each instance is associated with multiple labels simultaneously. Most of the existing approaches aim to improve the performance of multi-label learning by exploiting label correlations. Although the data augmentation technique is widely used in many machine learning tasks, it is still unclear whether data augmentation is helpful to multi-label learning. In this article, we propose to leverage the data augmentation technique to improve the performance of multi-label learning. Specifically, we first propose a novel data augmentation approach that performs clustering on the real examples and treats the cluster centers as virtual examples, and these virtual examples naturally embody the local label correlations and label importances. Then, motivated by the cluster assumption that examples in the same cluster should have the same label, we propose a novel regularization term to bridge the gap between the real examples and virtual examples, which can promote the local smoothness of the learning function. Extensive experimental results on a number of real-world multi-label datasets clearly demonstrate that our proposed approach outperforms the state-of-the-art counterparts.

연구 동기 및 목표

• 데이터 증강이 다중 레이블 학습 성능을 향상시킬 수 있는지, 이 분야에서의 유용성이 모호한 점을 감안할 때 검토하기.
• 클러스터링을 활용하여 국소적 레이블 상관관계와 레이블 중요도를 반영하는 의미 있는 가상 예제를 생성하기.
• 클러스터 가정에 기반한 정규화 항을 제안하여 실수와 가상 예제 간의 연결을 강화하고, 학습 함수의 국소적 스무딩을 향상시키기.
• 실제 다중 레이블 데이터셋에 대한 광범위한 실험을 통해 제안된 방법의 효과성을 입증하기.

제안 방법

• 실제 훈련 예제를 클러스터링하여 국소적 데이터 구조를 식별하고, 클러스터 중심을 가상 예제로 사용하기.
• 각 클러스터 중심을 실수의 새로운 훈련 인스턴스로 간주하며, 클러스터 내 모든 인스턴스의 레이블을 평균하여 연속적인 레이블 벡터를 확보하기.
• 실수 인스턴스의 모델 출력이 해당 클러스터 중심의 출력과 유사하도록 유도하는 새로운 정규화 항을 제안하여 국소적 스무딩을 촉진하기.
• 정규화 항을 학습 목표에 통합하여 실수 데이터 피팅과 가상 예제에 대한 예측 일치 사이의 균형을 맞추기.
• 가상 예제의 영향력과 정규화를 α와 γ의 초모수를 통해 제어하고, β를 통해 모델 복잡도를 균형 잡기.
• 가상 예제 생성의 해상도를 제어하기 위해 클러스터 수 c를 조정 가능한 파라미터로 사용하기.

(a) One-error

실험 결과

연구 질문

• RQ1 데이터 증강 기법이 다중 레이블 학습에서 성능 향상을 이룰 수 있는가, 이 분야에서의 탐색이 제한적인 점을 감안할 때?
• RQ2 클러스터 중심을 어떻게 활용하여 국소적 레이블 상관관계와 레이블 중요도를 반영하는 의미 있는 가상 예제를 생성할 수 있는가?
• RQ3 실수 인스턴스와 그 클러스터 중심 간의 유사성을 강제하면 학습 함수의 스무딩과 일반화 성능이 향상되는가?
• RQ4 제안된 프레임워크에서 실수 데이터 피팅, 가상 예제 활용, 모델 복잡도 간의 최적 균형은 무엇인가?

주요 결과

• 제안된 방법은 one-error 지표를 사용하여 시나리오 데이터셋에서 최신 기술 수준의 방법보다 평균 7.1% 향상된 성능을 달성한다.
• 대규모 컴퓨터 데이터셋에서는 one-error 지표를 사용하여 평균 6.0% 향상된 성능을 기록한다.
• 가상 예제의 영향력을 제어하는 초모수 α에 대해 모델이 상대적으로 민감하지 않아 안정성이 뛰어나다.
• 정규화 초모수 γ는 중간 값에서 최적 성능를 기록하여 실수와 가상 예제 간의 연결이 효과적임을 확인한다.
• 모델 복잡도 제어를 위한 β는 U자형 성능 곡선을 보이며, β=1과 같은 중간 값에서 최고 성능를 기록하여 과적합과 과소적합의 균형이 필요함을 시사한다.
• 클러스터 수 c에 대해 모델이 상대적으로 민감하지 않아 다양한 클러스터 수 범위에서 안정적인 성능를 유지하며, 초모수 튜닝을 단순화한다.

(b) Hamming loss