[論文レビュー] The Lovász Hinge: A Novel Convex Surrogate for Submodular Losses

Jiaqian Yu, Matthew B. Blaschko|arXiv (Cornell University)|Dec 24, 2015

Complexity and Algorithms in Graphs参考文献 1被引用数 6

ひとこと要約

この論文は、部分集合関数の凸近似損失関数としてのLovászハッチを導入し、$Ø(p\log p)$時間で勾配とカットプレーン計算が可能な、効率的な最適化を可能にする。マージンやスラック再スケーリングとは異なり、非スーパー単調な損失関数ではNP困難であるが、Lovászハッチは部分集合関数のLovász拡張を用いてタイトな凸拡張を提供し、セット予測タスクにおいてPASCAL VOCおよびMS COCOで最先端の性能を達成する。

ABSTRACT

Learning with non-modular losses is an important problem when sets of predictions are made simultaneously. The main tools for constructing convex surrogate loss functions for set prediction are margin rescaling and slack rescaling. In this work, we show that these strategies lead to tight convex surrogates iff the underlying loss function is increasing in the number of incorrect predictions. However, gradient or cutting-plane computation for these functions is NP-hard for non-supermodular loss functions. We propose instead a novel surrogate loss function for submodular losses, the Lovász hinge, which leads to O(p log p) complexity with O(p) oracle accesses to the loss function to compute a gradient or cutting-plane. We prove that the Lovász hinge is convex and yields an extension. As a result, we have developed the first tractable convex surrogates in the literature for submodular losses. We demonstrate the utility of this novel convex surrogate through several set prediction tasks, including on the PASCAL VOC and Microsoft COCO datasets.

研究の動機と目的

• 構造予測における部分集合損失の最適化の非効率性に対処する。既存の凸近似損失関数（マージンやスラック再スケーリング）は、非スーパー単調な損失関数ではNP困難である。
• 部分集合損失関数において、タイトかつ計算効率の良い凸近似損失関数の開発を目的とする。これは、実世界の予測タスクで一般的に見られる。
• NP困難な推論や緩い境界による失敗を避ける理論的根拠に基づいた多項式時間の代替手法を提供する。
• PASCAL VOCやMS COCOといったベンチマークデータセットを用いて、マルチラベル分類およびオブジェクト検出タスクにおけるLovászハッチの実用的有用性を示す。

提案手法

• 部分集合関数の凸閉包を提供するLovász拡張に基づいて、Lovászハッチを凸近似損失関数として提案する。
• Lovász拡張を用いて、離散的で部分単調な損失関数のタイトな凸上界を構築し、一貫性と凸性を保証する。
• $Ø(p\log p)$時間でサブ勾配を計算するための貪欲アルゴリズムを用い、損失関数への$Ø(p)$回のオракルクエリを実行する。
• カットプレーン法を最適化に適用し、Lovászハッチの凸性と扱いやすいサブ勾配計算の利点を活かす。
• 構造的SVMを用いた経験的リスク最小化により、Jaccard損失やF1に基づく損失を含む多様な部分集合損失関数に対してLovászハッチを訓練する。
• プライマル・デュアルギャップの収束とテスト損失の指標を用いて、マージン・スラック再スケーリングおよび0-1損失と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 部分集合損失関数に対して、タイトかつ効率的に最適化可能な凸近似損失関数を構築できるか？
• RQ2 理論的には魅力的だが、非スーパー単調な部分集合損失関数では、なぜマージンやスラック再スケーリングが実際には失敗するのか？
• RQ3 Lovász拡張を活用することで、部分集合関数の凸閉包と一致する多項式時間の凸近似損失関数を構築できるか？
• RQ4 Lovászハッチで訓練した場合、実世界のセット予測タスクにおいて、既存の手法よりも低いテスト誤差が得られるか？

主な発見

• Lovászハッチは、勾配およびカットプレーン計算において$Ø(p\log p)$の時間計算量を達成し、文献上では部分集合損失関数に対する最初の取り扱いやすい凸近似損失関数である。
• 実験的結果から、Lovásズハッチは標準SVMと同等の収束速度を示し、反復回数に伴いプライマル・デュアルギャップが迅速に減少することが確認された。
• PASCAL VOCおよびMS COCOデータセットにおいて、マージン・スラック再スケーリングや0-1損失と比較して、Lovászハッチで訓練した場合に顕著に低い平均テスト損失が得られた。
• Jaccard損失（部分単調）のケースでは、0-1損失で学習したLovászハッチが最良のテスト性能を達成し、その一貫性とタイトさを裏付けた。
• マージン・スラック再スケーリングですら正確に最適化が困難であるにもかかわらず、Lovásズハッチはテスト損失と収束性能において優れている。
• 近似による誤差の蓄積や早期終了の問題を避けるために、近似なしで正確なサブ勾配計算が可能である。