[논문 리뷰] The Lovász Hinge: A Novel Convex Surrogate for Submodular Losses

Jiaqian Yu, Matthew B. Blaschko|arXiv (Cornell University)|2015. 12. 24.

Complexity and Algorithms in Graphs참고 문헌 1인용 수 6

한 줄 요약

이 논문은 $Ø(p\log p)$-시간 기반의 기울기 및 커팅 평면 계산을 통해 효율적인 최적화를 가능하게 하는, 하위모듈러스 손실 함수를 위한 새로운 볼록 대체 손실 함수인 Lovász 허프를 소개한다. 마진 및 슬랙 재스케일링과 달리, 비초월모듈러스 손실 함수에 대해서는 NP-난이도이지만, Lovász 허프는 하위모듈러스 함수의 Lovász 확장을 사용하여 날카운 볼록 확장을 제공하며, 세트 예측 작업에서 PASCAL VOC 및 MS COCO에서 최신 기술 성능을 달성한다.

ABSTRACT

Learning with non-modular losses is an important problem when sets of predictions are made simultaneously. The main tools for constructing convex surrogate loss functions for set prediction are margin rescaling and slack rescaling. In this work, we show that these strategies lead to tight convex surrogates iff the underlying loss function is increasing in the number of incorrect predictions. However, gradient or cutting-plane computation for these functions is NP-hard for non-supermodular loss functions. We propose instead a novel surrogate loss function for submodular losses, the Lovász hinge, which leads to O(p log p) complexity with O(p) oracle accesses to the loss function to compute a gradient or cutting-plane. We prove that the Lovász hinge is convex and yields an extension. As a result, we have developed the first tractable convex surrogates in the literature for submodular losses. We demonstrate the utility of this novel convex surrogate through several set prediction tasks, including on the PASCAL VOC and Microsoft COCO datasets.

연구 동기 및 목표

• 구조적 예측에서 하위모듈러스 손실 함수를 최적화하는 데 있어 기존의 볼록 대체 손실 함수인 마진 및 슬랙 재스케일링이 비초월모듈러스 손실 함수에 대해 NP-난이도임을 해결하기 위해.
• 실제 예측 작업에서 흔히 사용되는 하위모듈러스 손실 함수에 대해 날카운 볼록 대체 손실 함수를 개발하여 계산 효율성과 함께 보장하기 위해.
• 기존 방법이 NP-난이도 추론 또는 느슨한 경계로 인해 실패하는 데 대비하여 이론적으로 탄탄하고 다항시간 내에 작동하는 대안을 제공하기 위해.
• 다중 레이블 및 객체 검출 작업을 위한 PASCAL VOC 및 MS COCO와 같은 벤치마크 데이터셋에서 Lovász 허프의 실용적 유용성을 입증하기 위해.

제안 방법

• 하위모듈러스 집합 함수의 볼록 폐쇄인 하위모듈러스 함수의 Lovász 확장을 기반으로 하여 Lovász 허프를 볼록 대체 손실 함수로 제안한다.
• Lovász 확장을 사용하여 이산 하위모듈러스 손실 함수에 대해 날카운 볼록 상계를 구성함으로써 일致성과 볼록성을 보장한다.
• 그리디 알고리즘을 활용하여 손실 함수의 $Ø(p)$ 오라클 질의를 통해 $Ø(p\log p)$ 시간 내에 하위기울기를 계산한다.
• Lovász 허프의 볼록성과 다루기 쉬운 하위기울기 계산을 활용하여 커팅 평면 방법을 최적화에 적용한다.
• 다양한 하위모듈러스 손실 함수, 예를 들어 Jaccard 및 F1 기반 손실 함수에 대해 Lovász 허프를 기반으로 한 구조적 SVM을 사용한 경험적 리스크 최소화를 통해 방법을 검증한다.
• 마진 및 슬랙 재스케일링, 0-1 손실과의 성능 비교를 위해 원시-이중 갭 수렴 및 테스트 손실 지표를 사용한다.

실험 결과

연구 질문

• RQ1 하위모듈러스 손실 함수에 대해 날카우면서도 효율적으로 최적화 가능한 볼록 대체 손실 함수를 구성할 수 있는가?
• RQ2 이론적으로는 유용한 마진 및 슬랙 재스케일링이 비초월모듈러스 하위모듈러스 손실 함수에 대해서는 실무에서 왜 실패하는가?
• RQ3 Lovász 확장을 활용하여 하위모듈러스 함수의 볼록 폐쇄를 정확히 모방하는 다항시간 볼록 대체 손실 함수를 만들 수 있는가?
• RQ4 Lovász 허프를 사용한 훈련이 실제 세트 예측 작업에서 기존 방법보다 낮은 테스트 오차를 낼 수 있는가?

주요 결과

• Lovász 허프는 기울기 및 커팅 평면 계산에 대해 $Ø(p\log p)$ 시간 복잡도를 달성하여, 문헌상에서 하위모듈러스 손실 함수에 대해 처음으로 다루기 쉬운 볼록 대체 손실 함수이다.
• 실험 결과, Lovász 허프는 표준 SVM과 유사한 수렴 속도를 보이며, 반복 과정 동안 빠른 원시-이중 갭 감소를 보였다.
• PASCAL VOC 및 MS COCO 데이터셋에서, 마진 및 슬랙 재스케일링보다 훨씬 낮은 평균 테스트 손실을 기록했으며, 0-1 손실 성능을 매칭하거나 초월했다.
• 하위모듈러스인 Jaccard 손실의 경우, 0-1 손실을 기반으로 훈련한 Lovász 허프가 가장 뛰어난 테스트 성능을 기록하여 그 일치성과 날카움을 확인했다.
• 마진 및 슬랙 재스케일링과 비교해도, 이는 정확한 최적화가 NP-난이도임에도 불구하고 테스트 손실과 수렴 성능에서 뛰어난 성능을 보였다.
• 근사 추론에서 흔히 발생하는 오차 누적 및 조기 종료 문제를 피하기 위해 근사 없이 정확한 하위기울기 계산을 가능하게 하였다.