[논문 리뷰] Multi-label classification: do Hamming loss and subset accuracy really conflict with each other?

Guoqiang Wu, Jun Zhu|arXiv (Cornell University)|2020. 11. 16.

Text and Document Classification Technologies참고 문헌 25인용 수 12

한 줄 요약

이 논문은 다중 레이블 분류에서 히 amming 손실(HL) 최적화 모델이 이론적으로 충돌한다고 주장되는 바와는 달리 하위집합 정확도(SA)에서 뛰어난 성능을 보이는 데 대한 명백한 모순을 해결한다. 라데마처 복잡도와 벡터 압축 부등식을 사용하여, HL 최적화 알고리즘은 HL에 대해 $c$에 독립적인 일반화 경계를 가지며, SA에 대해서는 $O(c)$의 경계를 가지며, SA 최적화 모델은 둘 다 $O(\sqrt{c})$의 경계를 가짐을 보여주며, 이는 작은 레이블 공간에서 SA 성능이 뛰어난 이유를 설명한다. 실험 결과는 이론적 발견을 확인한다.

ABSTRACT

Various evaluation measures have been developed for multi-label classification, including Hamming Loss (HL), Subset Accuracy (SA) and Ranking Loss (RL). However, there is a gap between empirical results and the existing theories: 1) an algorithm often empirically performs well on some measure(s) while poorly on others, while a formal theoretical analysis is lacking; and 2) in small label space cases, the algorithms optimizing HL often have comparable or even better performance on the SA measure than those optimizing SA directly, while existing theoretical results show that SA and HL are conflicting measures. This paper provides an attempt to fill up this gap by analyzing the learning guarantees of the corresponding learning algorithms on both SA and HL measures. We show that when a learning algorithm optimizes HL with its surrogate loss, it enjoys an error bound for the HL measure independent of $c$ (the number of labels), while the bound for the SA measure depends on at most $O(c)$. On the other hand, when directly optimizing SA with its surrogate loss, it has learning guarantees that depend on $O(\\sqrt{c})$ for both HL and SA measures. This explains the observation that when the label space is not large, optimizing HL with its surrogate loss can have promising performance for SA. We further show that our techniques are applicable to analyze the learning guarantees of algorithms on other measures, such as RL. Finally, the theoretical analyses are supported by experimental results.

연구 동기 및 목표

• 다중 레이블 분류에서 히 amming 손실(HL)과 하위집합 정확도(SA)가 상충되는 것으로 이론적으로 주장되나, 실제로는 관찰되는 모순을 해결하기 위해.
• 기존 연구에서 제약 없는 가설 공간과 알려진 조건부 분포를 가정한 바에 비해, HL, SA, 순서 손실(RL)에 대한 일반화 오차 경계를 제공하기 위해.
• HL을 최적화하는 알고리즘이 이론적 기대와는 달리 작은 레이블 공간에서 SA 성능이 뛰어나게 되는 이유를 설명하기 위해.
• 다른 측정치인 RL 등으로 분석을 확장하고 실험을 통해 결과를 검증하기 위해.

제안 방법

• 저자들은 라데마처 복잡도와 벡터 압축 부등식을 사용하여 커널 기반 학습 알고리즘에 대한 HL, SA, RL의 일반화 경계를 유도한다.
• SA를 위한 새로운 볼록 대체 손실 함수 $L_s$를 제안하며, 이는 계산적으로 효율적이며 레이블 간 의존성을 반영한다.
• 분석은 두 알고리즘에 집중한다: 하나는 그 대체 손실을 통해 HL을 최적화하는 알고리즘 ($\mathcal{A}^h$), 다른 하나는 $L_s$를 통해 직접 SA를 최적화하는 알고리즘 ($\mathcal{A}^s$).
• 두 알고리즘에 대한 이론적 경계를 도출하여, $\mathcal{A}^h$는 SA에 대해 $O(c)$의 의존성을 가지며, $\mathcal{A}^s$는 HL과 SA 둘 다에 대해 $O(\sqrt{c})$의 의존성을 가짐을 보여준다.
• 순서 손실(RL) 분석을 위해 대체 손실을 사용하여 프레임워크를 확장하여 RL에 대해 $O(\sqrt{c})$의 경계를 도출한다.
• 이론적 결과는 다중 레이블 데이터셋에 대한 실험적 결과로 뒷받침된다.

실험 결과

연구 질문

• RQ1 이론적으로 HL과 SA는 상충되는 측정치라고 주장되나, 왜 HL을 최적화하는 알고리즘이 작은 레이블 공간에서 SA 성능이 뛰어나게 되는가?
• RQ2 제약 있는 가설 공간이 있는 현실적인 학습 환경에서, HL과 SA의 일반화 오차 경계는 레이블 수 $c$에 어떻게 의존하는가?
• RQ3 기존 방법보다 더 날카운 일반화 경계를 제공하면서도 계산 효율성을 유지할 수 있는 SA를 위한 대체 손실을 설계할 수 있는가?
• RQ4 라데마처 복잡도와 벡터 압축 부등식을 사용하여 도출한 HL, SA, RL의 학습 보장은 어떻게 비교되는가?

주요 결과

• HL의 대체 손실을 통해 최적화할 경우, 일반화 경계는 레이블 수 $c$에 영향을 받지 않으며, 이는 레이블 공간 크기에 대해 강건함을 나타낸다.
• HL 최적화 하에서 SA의 일반화 경계는 $O(c)$에 의존하며, 이는 작은 레이블 공간에서 여전히 유리한 경향이 있다.
• 반면, $L_s$를 통해 직접 SA를 최적화하면 HL과 SA 둘 다에 대해 $O(\sqrt{c})$의 경계를 얻게 되어, 큰 레이블 공간에서 더 스케일러블하다.
• 이론적 분석은 HL 최적화 모델이 작은 레이블 설정에서 SA 최적화 모델보다 SA에서 더 잘 작동할 수 있음을 설명하며, 오랫동안 지속된 경험적 역설을 해결한다.
• 제안된 $L_s$는 계산적으로 효율적이며 레이블 간 의존성을 반영하여, 구조적 서포트 벡터 머신(SVM)의 실용적인 대안을 제공한다.
• 실험 결과는 이론적 발견을 지지하며, $c$가 작을 경우 HL 최적화 모델이 뛰어난 SA 성능을 달성함을 확인한다.