[논문 리뷰] Structured Prediction with Projection Oracles

Mathieu Blondel|arXiv (Cornell University)|2019. 10. 24.

Machine Learning and Data Classification인용 수 9

한 줄 요약

이 논문은 구조 예측을 위한 일반적인 프레임워크를 제안하며, 볼록 집합 위로의 투영 오라클을 사용하여 볼록이고 매끄러운 손실 함수를 유도한다. 예측 출력을 볼록 Hull(예: 마진널 폴리토프)으로 투영함으로써 기존 손실 함수보다 정확도를 향상시키며, 레이블 순위 매기기, 순서 회귀, 다중 레이블 분류 작업에서 효율적인 투영 알고리즘을 사용하는 구조적 폴리토프(예: Birkhoff 또는 순서 심플렉스)를 적용할 경우 일관된 성능 향상이 이루어진다.

ABSTRACT

We propose in this paper a general framework for deriving loss functions for structured prediction. In our framework, the user chooses a convex set including the output space and provides an oracle for projecting onto that set. Given that oracle, our framework automatically generates a corresponding convex and smooth loss function. As we show, adding a projection as output layer provably makes the loss smaller. We identify the marginal polytope, the output space's convex hull, as the best convex set on which to project. However, because the projection onto the marginal polytope can sometimes be expensive to compute, we allow to use any convex superset instead, with potentially cheaper-to-compute projection. Since efficient projection algorithms are available for numerous convex sets, this allows us to construct loss functions for a variety of tasks. On the theoretical side, when combined with calibrated decoding, we prove that our loss functions can be used as a consistent surrogate for a (potentially non-convex) target loss function of interest. We demonstrate our losses on label ranking, ordinal regression and multilabel classification, confirming the improved accuracy enabled by projections.

연구 동기 및 목표

• 구조 예측에서 볼록하고 매끄러운 서로서이 손실 함수를 도출하기 위한 일반적이며 계산적으로 실현 가능한 프레임워크를 개발하는 것.
• 투영 기반 손실과 校정된 디코딩을 조합하여 최적의 목표 손실로 수렴함을 보장함으로써 일관된 학습을 가능하게 하는 것.
• MAP 또는 마진널 추론 오라클 대신 효율적인 투영 오라클을 활용함으로써 기존의 서로서이 손실 함수에 대한 민첩한 대안을 제공하는 것.
• 마진널 폴리토프 또는 그 효율적인 초집합에 투영하는 것이 다양한 구조 예측 작업 전반에서 예측 정확도 향상에 기여함을 보여주는 것.

제안 방법

• 출력 공간을 포함하는 볼록 집합에서 유도된 Fenchel-Young 손실을 사용하며, 손실은 해당 집합 위로의 투영을 통해 정의된다.
• 사용자는 볼록 집합(예: Birkhoff 폴리토프, 순서 심플렉스, 배낭 폴리토프)을 선택하고, 그 집합 위로의 투영 오라클을 제공한다.
• 손실은 선택된 집합 위로의 투영 연산자와 볼록 쌍대 함수에 관련된 Fenchel-Young 손실로 구성된다.
• 출력 공간의 볼록 Hull인 마진널 폴리토프가 투영에 최적의 볼록 집합으로 식별되며, 이는 목표 손실과의 일관성을 보장한다.
• 마진널 폴리토프 위로의 투영이 비가능한 경우, [0,1]^k, 심플렉스 등 더 저렴한 투영 알고리즘을 제공하는 임의의 볼록 초집합을 사용할 수 있다.
• 테스트 시점에 연속적인 예측을 유효한 이산 출력으로 매핑하기 위해 校정된 디코딩이 적용되며, 이는 목표 손실과의 일관성을 보장한다.

실험 결과

연구 질문

• RQ1 단지 투영 오라클만을 사용하여도, 구조 예측을 위한 볼록이고 매끄러운 서로서이 손실 함수를 도출할 수 있는 일반적인 프레임워크를 설계할 수 있는가?
• RQ2 마진널 폴리토프 또는 그 초집합 위로의 투영이 기존 손실 함수보다 일반화 및 정확도 향상에 기여하는가?
• RQ3 Birkhoff 폴리토프, 순서 심플렉스, 배낭 폴리토프 등 볼록 집합의 선택이 구조 예측 작업 성능에 미치는 영향은 어떠한가?
• RQ4 목표 손실이 비볼록일 경우에도, 캘리브레이션된 디코딩과 조합된 제안된 손실이 목표 손실과 일관성을 유지하는가?

주요 결과

• 레이블 순위 매기기 작업에서 Birkhoff 폴리토프를 투영 및 디코딩에 모두 사용한 경우, 와인 데이터셋에서 히브밍 손실 5.10을 기록하여 모든 다른 설정보다 뛰어난 성능을 보였다.
• 순서 회귀 작업에서 순서 심플렉스 위로의 유클리드 투영은 평균 절대 오차(MAE)를 0.43으로 줄였으며, 릿지 회귀(MAE 0.72) 및 기타 기준 모델보다 뛰어났다.
• 다중 레이블 분류 작업에서 배낭 폴리토프를 사용한 경우, 샘플당 레이블 수가 적은 데이터셋(예: 'birds', 'emotions', 'scene')에서 유닛 큐브 기준 모델 대비 F1 점수가 향상되었다.
• KL 투영과 유클리드 투영이 유사한 성능을 보였으며, 이는 손실 함수의 분산 선택보다 볼록 집합의 선택이 더 중요함을 시사한다.
• Birkhoff 폴리토프 위로의 투영을 통해 소프트 순열 행렬을 시각화함으로써 더 나은 해석 가능성을 확보했으며, [0,1]^{k×k}와 같은 초집합을 사용할 경우 이러한 이점은 상실된다.
• 비볼록 목표 손실일 경우에도, 미약한 가정 하에 캘리브레이션된 디코딩과 조합된 프레임워크는 목표 손실과 일관성을 유지한다.