[論文レビュー] Sparse Stochastic Zeroth-Order Optimization with an Application to Bandit Structured Prediction

Artem Sokolov, Julian Hitschler+2 more|arXiv (Cornell University)|Jun 12, 2018

Advanced Bandit Algorithms Research参考文献 38被引用数 4

ひとこと要約

本稿では、構造的予測特徴のスパarsityを活用することで、勾配フリー学習における次元数ボトルネックを軽減するスパース確率的ゼロ階層最適化（SZO）を提案する。活性特徴のみを摂動することで、確率的1階層最適化（SFO）に近い収束速度を達成し、実験的に名詞句抽出タスクではSFOに近い性能を示し、機械翻訳タスクでは微分不能なMAP基準を用いても優れた結果を得た。

ABSTRACT

Stochastic zeroth-order (SZO), or gradient-free, optimization allows to optimize arbitrary functions by relying only on function evaluations under parameter perturbations, however, the iteration complexity of SZO methods suffers a factor proportional to the dimensionality of the perturbed function. We show that in scenarios with natural sparsity patterns as in structured prediction applications, this factor can be reduced to the expected number of active features over input-output pairs. We give a general proof that applies sparse SZO optimization to Lipschitz-continuous, nonconvex, stochastic objectives, and present an experimental evaluation on linear bandit structured prediction tasks with sparse word-based feature representations that confirm our theoretical results.

研究の動機と目的

• 確率的ゼロ階層最適化（SZO）の高反復複雑性が、全パラメータ次元数に比例することに対処する。
• スパースな構造的予測設定において、反復複雑性が全次元数ではなく、活性特徴の期待数にまで低減できることを示す。
• バンドイット構造的予測における効率性を向上させるために、スパース摂動を用いたSZOアルゴリズムの開発と評価を行う。
• 標準的なSFO手法では不可能な非微分可能損失基準（例：MAP）を、学習時およびテスト時において一貫して適用可能かどうかを検討する。

提案手法

• 理論的分析により、従来のSZO研究を非凸的かつリプシッツ連続的、確率的目的関数へと拡張し、スパースパラメータ摂動を用いる。
• 2点関数評価、ベースライン比較、関数比較の3つのSZOアルゴリズムを提案し、それぞれフィードバック複雑性の低減を目的として設計された。
• スパース摂動は、系列ラベル付けタスクにおけるn-gramなど、入出力ペairの活性特徴に対してのみ適用される。
• 滑らか化された目的関数のリプシッツ連続性を保証するため、ガウススムージングに依存し、関数値比較による勾配近似を可能にする。
• ハイパーパramータ（学習率hと探索パラメータμ）は開発セット上でチューニングされ、結果は3つの異なるランダムシードの平均値として提示された。
• 本手法は、名詞句抽出（F1スコア）および統計的機械翻訳（BLEUスコア）の両タスクで、密度的およびスパース摂動を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 構造的予測特徴空間におけるスパarsityを活用することで、SZO最適化における次元数ボトルネックを軽減できるか？
• RQ2 スパースパラメータ摂動は、実際の応用において、確率的1階層最適化（SFO）と同等の収束速度を達成できるか？
• RQ3 非微分可能損失関数（例：MAP）を、学習時およびテスト時において一貫してSZOで使用可能か？これによりSFO手法を上回る性能が得られるか？
• RQ4 フィードバック複雑性（例：1点 vs. 2点関数評価）は、構造的予測におけるSZOの収束速度および最終的性能にどのように影響するか？

主な発見

• SPARSE 2点更新ルールは、名詞句抽出タスクでテストF1スコア0.888を達成し、SFOベースラインの0.908に近づいた。
• SPARSE ベースライン比較更新は、チャンクングタスクで最高のテストF1スコア0.869を記録し、ALL摂動ベースライン比較（0.819）を上回った。
• 機械翻訳タスクでは、最良のSZO結果（スパース摂動を用いた2点更新）がBLEUスコア0.273を達成し、SFO結果の0.263を0.01 BLEUポイント上回った。
• スパース摂動と2点フィードバックを用いたSZO手法は、10万反復で最適性能に到達し、SFO手法よりも顕著に高速であった。
• 学習時およびテスト時に非微分可能MAP基準をSZOで一貫して使用した結果、ドメイン外ベースライン比で1.6 BLEUポイントの改善が得られ、SFO手法に比べて独自の優位性を示した。
• すべてのSZO手法において、スパース摂動を用いることで、密度的摂動よりも収束速度が向上したことが確認され、有効次元数の理論的低減が裏付けられた。