[논문 리뷰] Learning by Minimizing the Sum of Ranked Range

Shu Hu, Yiming Ying외 2명|arXiv (Cornell University)|2020. 10. 05.

Machine Learning and Data Classification참고 문헌 38인용 수 12

한 줄 요약

이 논문은 모델 출력값의 정렬된 값을 집계하여 강건한 학습 목표를 구성하기 위한 새로운 프레임워크인 순서화된 범위의 합(SoRR)을 제안한다. SoRR는 볼록 함수의 차분으로 표현되어 DCA 알고리즘을 통한 효율적 최적화가 가능하며, 이는 이중 분류를 위한 AoRR와 다중 레이블 학습을 위한 TKML라는 두 가지 새로운 손실 함수로 응용된다. 이를 통해 합성 및 실제 데이터셋에서 레이블 노이즈와 이상치에 대해 뛰어난 강건성을 입증한다.

ABSTRACT

In forming learning objectives, one oftentimes needs to aggregate a set of individual values to a single output. Such cases occur in the aggregate loss, which combines individual losses of a learning model over each training sample, and in the individual loss for multi-label learning, which combines prediction scores over all class labels. In this work, we introduce the sum of ranked range (SoRR) as a general approach to form learning objectives. A ranked range is a consecutive sequence of sorted values of a set of real numbers. The minimization of SoRR is solved with the difference of convex algorithm (DCA). We explore two applications in machine learning of the minimization of the SoRR framework, namely the AoRR aggregate loss for binary classification and the TKML individual loss for multi-label/multi-class classification. Our empirical results highlight the effectiveness of the proposed optimization framework and demonstrate the applicability of proposed losses using synthetic and real datasets.

연구 동기 및 목표

• 기존의 집합적 또는 개별적 손실 함수의 한계를 해결하기 위해, 이상치에 민감한 최댓값 또는 소수 집단에 민감하지 않은 평균과 같은 문제점을 해결하고자 한다.
• 모델 출력값의 순서화된 범위를 활용하여 강건성과 민감도 사이의 유연한 균형을 이룰 수 있는 일반 목적의 학습 목표를 개발하고자 한다.
• SoRR 기반으로 새로운 손실 함수인 AoRR와 TKML를 설계하여 이상치의 영향을 명시적으로 완화하면서도 높은 일반화 성능를 유지하고자 한다.
• 제안된 손실 함수에 대한 이론적 보장을 확립하고, 校정성(calibration) 및 하한(lower-bound) 성질을 포함하여 최적의 분류 행동과의 일致성을 보장하고자 한다.
• 다양한 데이터셋에서 레이블 노이즈 수준이 다양할 경우에 대해 SoRR 기반 손실의 강건성과 효과성을 경험적으로 검증하고자 한다.

제안 방법

• 실수의 집합에서 정렬된 값에 대한 새로운 집계 함수로 순서화된 범위의 합(SoRR)을 제안하며, 이는 상위-k 값과 상위-m 값의 합의 차이로 정의된다.
• SoRR를 두 개의 볼록 함수의 차분으로 표현함으로써 DC 프로그래밍을 통해 DCA 알고리즘을 이용한 효율적 최적화가 가능하도록 한다.
• 헤이지 함수와 쌍대 변수를 사용한 SoRR의 등가 표현을 유도하여, 서브기울기 방법을 통한 미분 가능 최적화를 가능하게 한다.
• 이중 분류를 위한 새로운 집계 손실인 순서화된 범위의 평균(AoRR)을 제안하며, 이상치 비율이 사전에 알려져 있을 경우에 완전히 이상치의 영향을 제거한다.
• 다중 레이블 학습을 위한 특수한 경우로 상위-k 다중 레이블(TKML) 손실을 제안하며, 진짜 레이블이 상위-k 순위에 포함되도록 명시적으로 장려한다.
• 이중 단계 최적화 전략을 적용한다: 먼저 쌍대 변수(λ, λ̂)에 대해 최적화하고, 그 다음 모델 파라미터 θ에 대해 최적화하며, 재구성된 문제의 볼록성을 활용한다.

실험 결과

연구 질문

• RQ1 순서화된 범위 기반의 새로운 학습 목표가 기존의 표준 집합 손실 대비 레이블 노이즈와 이상치에 대해 강건성을 향상시킬 수 있는가?
• RQ2 SoRR에서 파생된 AoRR 손실은 훈련 데이터에 이상치가 존재할 경우 이중 분류에서 어떻게 성능을 발휘하는가?
• RQ3 SoRR 기반의 TKML 손실은 올바른 레이블 순위를 우선시함으로써 다중 레이블 분류 성능을 효과적으로 향상시킬 수 있는가?
• RQ4 TKML 손실과 기존의 다중 레이블 손실 간의 이론적 관계는 무엇이며, 하한을 제공하는가?
• RQ5 SoRR에 대한 DCA 기반 최적화 프레임워크는 실제 적용에서 표준 최적화 방법에 비해 효율성과 수렴 속도 측면에서 어떻게 비교되는가?

주요 결과

• MNIST에서 레이블 노이즈가 존재할 경우, TKML 손실은 모든 상위-k 정확도에서 베이스라인 SVM α를 항상 초월하며, 레이블 노이즈 비율이 40%일 때 상위-1 정확도에서 7% 향상되었다.
• 레이블 노이즈 비율이 40%일 경우, TKML는 상위-1 정확도 75.00%를 기록하여 SVM α의 68.32%보다 뛰어난 강건성을 입증하였다. 이는 데이터 품질 악화나 극단적 오류에 대한 저항력을 보여준다.
• 합성 실험에서 이상치 비율이 사전에 알려져 있을 경우, AoRR 손실은 이상치의 영향을 완전히 제거하는 데 성공하였다.
• Emotions 및 Scene 데이터셋에서 TKML는 각각 상위-5 정확도 96.94%와 95.01%를 기록하여 LR 및 LSEP 베이스라인을 모두 압도하였다.
• DCA로 최적화된 SoRR 프레임워크는 다수의 랜덤 실행에서 최소한의 표준편차를 보이며 안정적이고 효율적인 수렴을 보였으며, 신뢰할 수 있는 최적화를 의미한다.
• 이론적 분석을 통해 TKML가 기존의 다중 레이블 손실의 하한임을 확인하였으며, 이는 그 일致성과 다중 레이블 학습에 적합함을 뒷받침한다.