[논문 리뷰] A Convex Surrogate Operator for General Non-Modular Loss Functions

Jiaqian Yu, Matthew B. Blaschko|arXiv (Cornell University)|2016. 04. 12.

Advanced Neural Network Applications참고 문헌 20인용 수 6

한 줄 요약

이 논문은 일반적인 비모odular 손실 함수—이전에는 표준 볼록 서로서바트로 다루기 어려웠던—를 위해, 임의의 손실을 하위모듈러 및 슈퍼모듈러 성분으로 분해함으로써 새로운 볼록 서로서바트 연산자를 제안한다. 이는 슈퍼모듈러 부분에 대한 슬랙 재스케일링과 하위모듈러 부분에 대한 Lovász 허지의 조합을 통해 볼록성, 조각별 선형성, 다항시간 내의 서그리던트 계산을 보장한다. 실험적 검증을 통해 Sørensen-Dice와 같은 비하위모듈러 손실에서 성능 향상과 확장성 향상을 입증하였다.

ABSTRACT

Empirical risk minimization frequently employs convex surrogates to underlying discrete loss functions in order to achieve computational tractability during optimization. However, classical convex surrogates can only tightly bound modular loss functions, sub-modular functions or supermodular functions separately while maintaining polynomial time computation. In this work, a novel generic convex surrogate for general non-modular loss functions is introduced, which provides for the first time a tractable solution for loss functions that are neither super-modular nor submodular. This convex surro-gate is based on a submodular-supermodular decomposition for which the existence and uniqueness is proven in this paper. It takes the sum of two convex surrogates that separately bound the supermodular component and the submodular component using slack-rescaling and the Lov{á}sz hinge, respectively. It is further proven that this surrogate is convex , piecewise linear, an extension of the loss function, and for which subgradient computation is polynomial time. Empirical results are reported on a non-submodular loss based on the S{ø}rensen-Dice difference function, and a real-world face track dataset with tens of thousands of frames, demonstrating the improved performance, efficiency, and scalabil-ity of the novel convex surrogate.

연구 동기 및 목표

• 비모듈러이자 하위모듈러 또는 슈퍼모듈러가 아닌 일반적인 비모듈러 손실 함수에 대해 기존의 볼록 서로서바트로는 다루기 어려운 문제를 해결하기 위해.
• 임의의 세트 함수를 엄밀하게 둘러싸면서도 다항시간 내의 서그리던트 계산을 유지하는 볼록 서로서바트를 개발하기 위해.
• Sørensen-Dice 지수와 같이 구조 예측에서 흔히 사용되는 비모듈러 손실 함수에 대해 효율적인 최적화를 가능하게 하기 위해.
• 기존의 서로서바트인 슬랙 재스케일링과 Lovász 허지의 범위를 더 넓은 손실 함수의 클래스로 일반화하기 위해.
• 수천 개의 프레임을 포함하는 실제 데이터셋에서의 확장성과 성능 향상을 입증하기 위해.

제안 방법

• 임의의 일반적인 세트 함수를 비음수 슈퍼모듈러 성분과 하위모듈러 성분으로 분해하는 방법을 제안한다.
• 임의의 세트 함수에 대해 이러한 분해가 존재하고 유일함을 증명한다.
• 슬랙 재스케일링을 슈퍼모듈러 부분에, Lovász 허지의 부분에 각각 적용하여 볼록 서로서바트를 구성한다.
• 이 서로서바트가 볼록성, 조각별 선형성, 원래 손실의 확장이며, 다항시간 내의 서그리던트 계산이 가능함을 보장한다.
• 자르기 평면 방법과 원시-이중 최적화를 사용하여 학습을 수행하며, 확률적 경사 하강법 및 신경망과의 호환성도 확보한다.
• 합성 실험과 수천 개의 영상 프레임을 포함하는 실제 얼굴 추적 데이터셋을 사용하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 비모듈러이자 하위모듈러 또는 슈퍼모듈러가 아닌 일반적인 비모듈러 손실 함수에 대해 볼록 서로서바트를 구성할 수 있는가?
• RQ2 임의의 세트 함수를 하위모듈러 및 슈퍼모듈러 성분으로 분해하는 데 있어 유일하고 계산적으로 다루기 쉬운 방법이 존재하는가?
• RQ3 제안된 서로서바트가 슬랙 재스케일링 및 하밍 손실과 비교해 수렴 속도와 테스트 오차 측면에서 더 우수한 성능을 보이는가?
• RQ4 확률적 경사 하강법과 같은 표준 머신러닝 기법을 사용해 이 서로서바트를 효율적으로 최적화할 수 있는가?
• RQ5 고차원 출력을 가진 대규모 구조 예측 작업에 대해 이 방법이 효과적으로 확장 가능한가?

주요 결과

• 제안된 볼록 서로서바트 연산자는 표준 SVM과 유사한 원시-이중 수렴 속도를 달성하여 효율적인 최적화를 보여준다.
• Sørensen-Dice 손실에서, 슬랙 재스케일링 및 0-1 손실과 비교해 테스트 시 오차가 크게 감소하였으며, 하위모듈러 성분이 비음수일 경우 가장 낮은 오차를 기록하였다.
• 손실 증강 추론의 경우, 반복당 계산 비용은 슬랙 재스케일링과 유사했으며, 통계적 성능 향상에도 불구하고 유의미한 오버헤드 없이 구현되었다.
• 10중 교차검증에서, p=10일 경우 평균 테스트 오차 0.002±0.000, p=50일 경우 0.018±0.003, p=100일 경우 0.060±0.008를 기록하여 기준 방법들을 능가하였다.
• 수천 개의 영상 프레임을 포함하는 대규모 데이터셋에 대해 효과적으로 확장 가능했으며, 얼굴 추적 데이터셋에 성공적으로 적용되었다.
• 이 서로서바트는 Lovász 허지의 일반화이며, 비슈퍼모듈러 손실에 대해 슬랙 재스케일링보다 더 날카운 approximation을 제공한다.