[논문 리뷰] Calculating Optimistic Likelihoods Using (Geodesically) Convex Optimization

Viêt Anh Nguyên, Soroosh Shafieezadeh-Abadeh외 3명|arXiv (Cornell University)|2019. 10. 17.

Advanced Statistical Methods and Models인용 수 6

한 줄 요약

이 논문은 피셔-레오 거리로 정의된 불확실성 집합 위에서 지오데식적 볼록 최적화를 활용하여 계산적으로 효율적인 낙관적 우도를 계산하는 방법을 제안한다. 이 방법은 분포 불확실성 하에서 강건한 우도 평가를 가능하게 하며, 피셔-레오 또는 쿨백-라이블러 발산을 비유적 척도로 사용할 경우 이론적 보장과 볼록 최적화를 통한 효율적 해법을 제공한다.

ABSTRACT

A fundamental problem arising in many areas of machine learning is the evaluation of the likelihood of a given observation under different nominal distributions. Frequently, these nominal distributions are themselves estimated from data, which makes them susceptible to estimation errors. We thus propose to replace each nominal distribution with an ambiguity set containing all distributions in its vicinity and to evaluate an \emph{optimistic likelihood}, that is, the maximum of the likelihood over all distributions in the ambiguity set. When the proximity of distributions is quantified by the Fisher-Rao distance or the Kullback-Leibler divergence, the emerging optimistic likelihoods can be computed efficiently using either geodesic or standard convex optimization techniques. We showcase the advantages of working with optimistic likelihoods on a classification problem using synthetic as well as empirical data.

연구 동기 및 목표

• 기계 학습에서 명시된 분포의 잘못된 특정화에 대해 우도 기반 추론의 민감성을 해결하기 위해.
• 명시된 추정치에 가까운 불확실성 집합 내에서 최대 우도를 고려하여 표준 우도 평가의 강건한 대안을 개발하기 위해.
• 근접도가 피셔-레오 거리 또는 쿨백-라이블러 발산으로 측정될 경우 지오데식적 볼록 최적화를 사용하여 낙관적 우도를 효율적으로 계산할 수 있도록 하기 위해.
• 합성 및 실증 데이터를 모두 사용하여 분류 과제에서 낙관적 우도의 이점을 입증하기 위해.

제안 방법

• 피셔-레오 또는 쿨백-라이블러 발산과 같은 비유적 척도 φ로 정의된 불확실성 집합 위에서 우도 최대화 문제로 낙관적 우도를 수립하기 위해.
• 지오데식 볼록성과 효율적 최적화를 가능하게 하기 위해 비음성 섹션 곡률을 가지는 피셔-레오 거리를 비유적 척도로 사용하기 위해.
• 라그랑주 승수를 사용한 이중 문제로 원래의 우도 최대화 문제를 변환하여 스칼라 γ > 0에 대한 일변도 최적화 문제로 축소하기 위해.
• 특히 공분산 행렬이 저랭크 구조를 가질 경우 행렬 항등식(예: 우드베리 공식)을 사용하여 이중 문제의 닫힌 형태의 표현을 유도하기 위해.
• 기존의 기하학적 기반 최적화 방법을 사용하여 해를 구하기 위해, 분석적으로 유도된 일阶 및 이阶 도함수를 제공하여 수치적 효율성을 확보하기 위해.
• 완전 랭크 및 저랭크 공분산 케이스 모두에 적용하며, 후자의 경우 고유값 분해를 통해 특수한 축소를 유도하기 위해.

실험 결과

연구 질문

• RQ1 진정한 분포가 불확실하지만 명시된 추정치에 가까운 경우 낙관적 우도를 효율적으로 계산할 수 있는가?
• RQ2 피셔-레오 거리를 비유적 척도로 사용할 경우 지오데식적 볼록 최적화 문제로 이어지며, 이는 해석 가능할까?
• RQ3 강건성과 분류 성능 측면에서 낙관적 우도 접근법은 표준 우도 평가와 어떻게 비교되는가?
• RQ4 다양한 비유적 척도로 정의된 낙관적 우도 문제를 해결하는 데 필요한 계산 복잡도는 어떻게 되는가?
• RQ5 효율적인 수치적 구현을 위해 매트릭스 항등식을 사용하여 낙관적 우도 문제의 이중 형식을 단순화할 수 있는가?

주요 결과

• 피셔-레오 다양체의 비음성 섹션 곡률 덕분에 피셔-레오 거리 기반 낙관적 우도 문제는 지오데식적 볼록 최적화 문제로 축소된다.
• 이중 문제의 해는 γ > 0에 대한 일변도 최적화 문제이며, 분석적으로 유도된 일阶 및 이阶 도함수를 제공함으로써 기하학적 기반 최적화 방법을 효율적으로 적용할 수 있다.
• 저랭크 공분산 구조의 경우 고유값 분해를 통해 문제를 k차원 문제로 축소할 수 있어 계산 효율성이 크게 향상된다.
• 정확한 이중 갭을 확보하고, 이중 변수 γ*로부터 최적의 공분산 행렬을 구성할 수 있다.
• 합성 및 실증 데이터에 대한 수치 실험 결과, 분포 불확실성 하에서 낙관적 우도가 표준 우도보다 분류 과제에서 뛰어난 성능을 보였다.
• 쿨백-라이블러 발산 역시 볼록 문제를 유도하지만, 피셔-레오 거리가 기하학적 성질과 계산의 해석 가능성에서 유리하기 때문에 선호된다.