[논문 리뷰] Convex Calibration Dimension for Multiclass Loss Matrices

Harish G. Ramaswamy, Shivani Agarwal|arXiv (Cornell University)|2014. 08. 12.

Machine Learning and Algorithms참고 문헌 37인용 수 20

한 줄 요약

이 논문은 다중분류 손실 행렬에 대해 보정된 측정가능한 볼록 대체 손실을 설계하기 위해 필요한 최소 예측 공간 크기를 측정하는 '볼록 보정 차원'을 도입한다. 보정을 위한 필요 및 충분 조건을 확립하고, NDCG, MAP, PD와 같은 부분집합 순위 매기기 손실의 경우 볼록 보정 차원이 Ω(r²)임을 증명하여, 일致한 학습을 위해 Ω(r²)개의 실수값 함수가 필요하다는 것을 의미하며, 따라서 r 차원에서 효율적인 볼록 보정 대체 손실이 존재하지 않음을 해결한다.

ABSTRACT

We study consistency properties of surrogate loss functions for general multiclass learning problems, defined by a general multiclass loss matrix. We extend the notion of classification calibration, which has been studied for binary and multiclass 0-1 classification problems (and for certain other specific learning problems), to the general multiclass setting, and derive necessary and sufficient conditions for a surrogate loss to be calibrated with respect to a loss matrix in this setting. We then introduce the notion of convex calibration dimension of a multiclass loss matrix, which measures the smallest `size' of a prediction space in which it is possible to design a convex surrogate that is calibrated with respect to the loss matrix. We derive both upper and lower bounds on this quantity, and use these results to analyze various loss matrices. In particular, we apply our framework to study various subset ranking losses, and use the convex calibration dimension as a tool to show both the existence and non-existence of various types of convex calibrated surrogates for these losses. Our results strengthen recent results of Duchi et al. (2010) and Calauzenes et al. (2012) on the non-existence of certain types of convex calibrated surrogates in subset ranking. We anticipate the convex calibration dimension may prove to be a useful tool in the study and design of surrogate losses for general multiclass learning problems.

연구 동기 및 목표

• 임의의 손실 행렬로 정의된 일반 다중분류 학습 문제에서 대체 손실의 통계적 일致성 분석을 위한 통합 프레임워크를 개발하는 것.
• 0-1 손실을 초과하는 일반 다중분류 설정으로 분류 보정 개념을 확장하는 것.
• 볼록 대체 손실 설계의 내재적 어려움을 측정하는 척도로 볼록 보정 차원을 정의하고 분석하는 것.
• MAP, PD, NDCG와 같은 부분집합 순위 매기기 손실에 대해 볼록 보정 대체 손실의 존재성에 대한 열린 질문을 해결하는 것.
• 부분집합 순위 매기기 문제에 대해 r 차원에서 일致한 볼록 대체 손실이 존재하지 않음을 강화하기 위해 볼록 보정 차원에 대해 Ω(r²)의 하한을 보여주는 것.

제안 방법

• 이중 및 다중분류 0-1 사례를 확장하여 일반 다중분류 손실 행렬에 대한 보정의 일반화된 개념을 도입한다.
• 주어진 손실 행렬에 대해 대체 손실이 보정되기 위한 필요 및 충분 조건을 유도한다.
• 주어진 손실 행렬에 대해 볼록이고 보정된 대체 손실을 허용하는 최소 예측 공간 차원으로 볼록 보정 차원을 정의한다.
• 손실 행렬의 대수적 및 기하적 성질을 이용하여 볼록 보정 차원에 대한 상한과 하한을 유도한다.
• 프레임워크를 부분집합 순위 매기기 손실에 적용하여 NDCG, MAP, PD에 대한 볼록 보정 차원을 계산하거나 경계한다.
• 서브미디언트와 양의 정규집합과 같은 볼록 해석 도구를 사용하여 Crammer-Singer 방법과 같은 특정 대체 손실을 분석한다.

실험 결과

연구 질문

• RQ1 임의의 다중분류 손실 행렬에 대해 대체 손실이 보정되기 위한 필요 및 충분 조건은 무엇인가요?
• RQ2 주어진 손실 행렬에 대해 볼록하고 보정된 대체 손실을 구성할 수 있는 최소 예측 공간의 차원은 무엇인가요?
• RQ3 MAP, PD, NDCG와 같은 부분집합 순위 매기기 손실은 r 차원 예측 공간에서 볼록 보정 대체 손실을 허용합니까?
• RQ4 r개의 문서에 대해 NDCG, MAP, PD 손실 행렬의 볼록 보정 차원은 무엇입니까?
• RQ5 볼록 보정 차원을 사용하여 특정 다중분류 문제에서 낮은 유저 공간에서 일치하는 볼록 대체 손실이 존재하지 않음을 증명할 수 있습니까?

주요 결과

• r개 문서에 대해 쌍별 오류(PD) 손실 행렬의 볼록 보정 차원은 Ω(r²)로 하한이 존재하며, 이는 일치한 학습을 위해 Ω(r²)개의 실수값 함수가 필요하다는 것을 의미한다.
• 평균 평균 정밀도(MAP) 손실 행렬의 볼록 보정 차원 역시 Ω(r²)로 하한이 존재하여, r 차원에서 볼록 보정 대체 손실이 존재하지 않음을 보여준다.
• 정규화된 할인 누적 수익(NDCG) 손실 행렬의 볼록 보정 차원은 Ω(r²)로 하한이 존재하여, 일致한 학습을 위해 Ω(r²)개의 점수 함수를 학습해야 한다는 것을 나타낸다.
• 동일한 클래스 수를 가진 손실 행렬이라도 볼록 보정 차원은 크게 다를 수 있으며, 1에서 클래스 수에 가까운 수준까지 변동할 수 있다.
• Duchi 등(2010)과 Calauzènes 등(2012)의 이전 결과를 확인하고 강화하여, r 차원에서 부분집합 순위 매기기 문제에 대해 볼록 보정 대체 손실이 존재하지 않음을 확인한다.
• Crammer-Singer 대체 손실의 경우, 임계점에서의 양의 정규집합은 어떤 클래스도 확률 1/2를 초과하지 않는 분포 집합임을 보여주며, 이는 보정 행동을 특성화한다.