[論文レビュー] Minding the Gaps for Block Frank-Wolfe Optimization of Structured SVMs

Anton Osokin, Jean-Baptiste Alayrac+3 more|arXiv (Cornell University)|May 30, 2016

Face and Expression Recognition参考文献 20被引用数 35

ひとこと要約

本稿では、構造的SVM最適化のためのブロック座標Frank-Wolfe（BCFW）アルゴリズムを、ギャップに基づく適応的サンプリング、ペairワイズ/オフセットステップ、ブロックギャップを用いたオラクルキャッシュ、および近似正則化パスの導入により向上させている。これらの改善により収束が加速され、計算コストが低減され、4つの構造的予測データセットにおける実験的結果では、ギャップに基づくサンプリングとキャッシュの組み合わせが特に顕著な高速化を達成している。

ABSTRACT

In this paper, we propose several improvements on the block-coordinate Frank-Wolfe (BCFW) algorithm from Lacoste-Julien et al. (2013) recently used to optimize the structured support vector machine (SSVM) objective in the context of structured prediction, though it has wider applications. The key intuition behind our improvements is that the estimates of block gaps maintained by BCFW reveal the block suboptimality that can be used as an adaptive criterion. First, we sample objects at each iteration of BCFW in an adaptive non-uniform way via gapbased sampling. Second, we incorporate pairwise and away-step variants of Frank-Wolfe into the block-coordinate setting. Third, we cache oracle calls with a cache-hit criterion based on the block gaps. Fourth, we provide the first method to compute an approximate regularization path for SSVM. Finally, we provide an exhaustive empirical evaluation of all our methods on four structured prediction datasets.

研究の動機と目的

• ブロック座標Frank-Wolfe（BCFW）の構造的SVM最適化における効率性と収束性を向上させること。
• ブロックギャップを部分最適性の指標として用い、適応的サンプリングとオラクル再利用を支援すること。
• ペアワイズおよびオフセットステップのFrank-Wolfe変種をブロック座標設定に拡張し、収束速度を向上させること。
• 構造的SVMのための近似正則化パスを計算する最初の手法を開発すること。
• 提案手法の改善を、複数の構造的予測データセット上で実験的に検証すること。

提案手法

• ブロックギャップ値に基づく非一様なトレーニングオブジェクトのサンプリング。ギャップが大きいほど、改善の可能性が高くなる。
• ペアワイズおよびオフセットステップをブロック座標Frank-Wolfeフレームワークに統合し、線形収束レートを達成すること。
• ギャップに基づくキャッシュヒット基準の導入により、冗長なオラクル呼び出しを削減。ブロックギャップが部分最適性の変化が小さいことを示唆する場合に、以前の結果を再利用。
• ブロックギャップを用いてブレークポイントを特定することで、ε-近似正則化パスを計算するアルゴリズムの設計。複数の正則化パラメータにわたる効率的な解法を可能に。
• ブロックギャップを用いて双対ギャップを計算し、収束基準として用いるとともに、サンプリングおよびキャッシュ意思決定の指針とする。
• 正則化パスにおけるウォームスタート戦略の実装により、効率性を向上。

実験結果

リサーチクエスチョン

• RQ1 ブロックギャップは、BCFWにおけるトレーニングオブジェクトの適応的かつ非一様なサンプリングを効果的に導くことができるか？収束が速くなるか？
• RQ2 ブロック座標設定におけるペアワイズおよびオフセットステップは、標準BCFWに比べて収束速度を向上させるか？
• RQ3 ギャップに基づく基準により、知的なキャッシュを用いることで、高価なオラクル呼び出しの回数を削減できるか？
• RQ4 ブロックギャップを用いて構造的SVMの近似正則化パスを計算することは可能か？その効率性はいかがなっているか？
• RQ5 ギャップベースのサンプリングとキャッシュの組み合わせは、多様な構造的予測データセットにおいて、双対ギャップと実行時間の両面でどのようにスケーリングするか？

主な発見

• ギャップに基づく適応的サンプリングは、一様サンプリングに比べて、データの有効なパス回数を顕著に削減し、収束を加速する。
• ギャップベースのサンプリングとキャッシュの組み合わせが、全テストデータセットで最も速い収束と最短の実行時間を達成した。
• ブロック座標設定におけるペアワイズおよびオフセットステップは、収束速度を向上させ、特に最適化の後期段階で顕著である。
• 提案された近似正則化パス計算は、グリッドサーチに比べて顕著な高速化を達成しており、特にキャッシュとギャップベースのサンプリングと組み合わせると顕著である。
• OCR-large や HorseSeg-medium のような大規模データセットでは、ギャップサンプリングとキャッシュを用いた手法が、24時間以内にグリッドサーチよりも低い双対ギャップに到達した（タイムアウトで終了したため）。
• 実験的結果から、ギャップベースのキャッシュ基準が、収束品質を損なうことなく、冗長なオラクル呼び出しを効果的に削減していることが示された。