[논문 리뷰] Learning Classifiers with Fenchel-Young Losses: Generalized Entropies, Margins, and Algorithms

Mathieu Blondel, André F. T. Martins외 1명|arXiv (Cornell University)|2018. 05. 24.

Neural Networks and Applications인용 수 23

한 줄 요약

이 논문은 정규화 함수를 통해 볼록 손실 함수를 구성하는 통합 프레임워크로 펜클-영(Fenchel-Young, F-Y) 손실을 소개한다. 이는 마진과 희소 확률 분포를 갖는 새로운 손실을 생성할 수 있게 하며, 로지스틱, 힌지, 스파스맥스 손실을 일반화한다. 또한 계산에 효율적인 알고리즘을 유도한다.

ABSTRACT

This paper studies Fenchel-Young losses, a generic way to construct convex loss functions from a regularization function. We analyze their properties in depth, showing that they unify many well-known loss functions and allow to create useful new ones easily. Fenchel-Young losses constructed from a generalized entropy, including the Shannon and Tsallis entropies, induce predictive probability distributions. We formulate conditions for a generalized entropy to yield losses with a separation margin, and probability distributions with sparse support. Finally, we derive efficient algorithms, making Fenchel-Young losses appealing both in theory and practice.

연구 동기 및 목표

• 펜클 쌍대성과 정규화를 이용해 볼록 손실 함수를 구성하는 원칙적이고 일반적인 프레임워크를 제공한다.
• 힌지, 로지스틱, 스파스맥스와 같은 잘 알려진 손실들을 단일 이론적 프레임워크 아래 통합한다.
• 어떤 일반화된 엔트로피가 분리 마진과 희소 확률 분포를 갖는 손실을 유도하는지 규명한다.
• 관련 확률 분포와 기울기 계산을 위한 효율적인 알고리즘을 도출한다.
• 스 parser label proportion 추정과 같은 과제에서 F-Y 손실의 실용적 유용성을 입증한다.

제안 방법

• 정규화 함수의 펜클 쌍대성에 기반해 예측 함수를 정의하여, 원시 점수를 친화도와 정규화의 트레이드오프를 최대화함으로써 예측으로 매핑한다.
• 정규화 함수 Ω에서 유도된 브레그만 발산을 통해 진짜 레이블과 예측 분포 사이의 Fenchel-Young 손실을 구성한다.
• 펜클-영 부등식을 사용하여 점수 벡터 θ에 대해 손실의 볼록성을 보장한다.
• Ω가 일반화된 엔트로피(예: 샤논 또는 츠라illis)일 경우, 결과로 유도된 손실이 잘 정의된 예측 분포를 갖는 적절한 점수 규칙임을 보여준다.
• 예측 함수와 그 기울기 계산을 위한 효율적인 알고리즘을 유도하며, 단순형 단체의 투영과 같은 비가속 정규화 함수에도 적용 가능하다.
• 유도된 확률 분포가 희소성이 있고 손실 함수가 분리 마진을 갖는 조건을 설정한다.

실험 결과

연구 질문

• RQ1 펜클-영 손실은 힌지, 로지스틱, 스파스맥스 손실과 같은 기존 볼록 손실 함수들을 단일 프레임워크 아래 통합할 수 있는가?
• RQ2 일반화된 엔트로피에 어떤 조건이 있어야 결과로 유도된 F-Y 손실이 분리 마진을 갖는가?
• RQ3 정규화 함수에 의해 유도된 예측 함수가 희소 확률 분포를 생성하는 조건은 무엇인가?
• RQ4 비가속 정규화 함수일 경우를 포함해 F-Y 손실에 대해 효율적인 최적화 알고리즘을 어떻게 도출할 수 있는가?
• RQ5 펜클-영 손실의 맥락에서 일반화된 엔트로피, 마진, 희소성 간의 관계는 무엇인가?

주요 결과

• 펜클-영 손실은 정규화와 쌍대성 기반의 단일 프레임워크에서 힌지, 로지스틱, 스파스맥스 손실을 특수한 경우로 일반화하고 통합한다.
• 펜클-영 손실은 점수 벡터 θ에 대해 볼록하므로 좋은 최적화 성질을 보장한다.
• 정규화 함수 Ω가 일반화된 엔트로피(예: 샤논 또는 츠라illis)일 경우, 결과로 유도된 손실은 잘 정의된 예측 분포를 갖는 적절한 점수 규칙이 된다.
• 손실이 분리 마진을 갖는 데 필요한 필수 및 충분조건은 정규화 함수 Ω가 엄격히 볼록하고 레전드르 유형이어야 한다는 것이다.
• 정규화 함수가 비가속일 경우(예: 단체의 지시 함수), 확률 분포의 희소성이 발생하며, 이는 스파스맥스로 이어진다.
• Ω가 레전드르 유형일 경우, 펜클-영 손실은 캐논컬 인버스 링크 함수를 사용한 복합 손실과 일치하지만, F-Y 손실은 더 일반적이며 역함수 또는 레전드르가 아닌 경우에도 처리할 수 있다.