[論文レビュー] Generalized Majorization-Minimization

Sobhan Naderi Parizi, Kun He+3 more|arXiv (Cornell University)|Jun 25, 2015

Sparse and Compressive Sensing Techniques被引用数 9

ひとこと要約

本稿では、従来の主要化最小化（MM）の厳密な接触制約を緩和することで、より広範な有効な境界を許容する柔軟なフレームワーク、一般化主要化最小化（G-MM）を提案する。境界の構築を目的関数に接触する必要から分離することで、初期値への感受性が低下し、アプリケーション固有の事前知識の直接統合が可能となり、クラスタリングや潜在変数モデルにおいて、MMより一貫した性能向上が得られる。特に、バイアス付き境界を用いることで、高い精度と高速な収束性が実現される。

ABSTRACT

Non-convex optimization is ubiquitous in machine learning. Majorization-Minimization (MM) is a powerful iterative procedure for optimizing non-convex functions that works by optimizing a sequence of bounds on the function. In MM, the bound at each iteration is required to \emph{touch} the objective function at the optimizer of the previous bound. We show that this touching constraint is unnecessary and overly restrictive. We generalize MM by relaxing this constraint, and propose a new optimization framework, named Generalized Majorization-Minimization (G-MM), that is more flexible. For instance, G-MM can incorporate application-specific biases into the optimization procedure without changing the objective function. We derive G-MM algorithms for several latent variable models and show empirically that they consistently outperform their MM counterparts in optimizing non-convex objectives. In particular, G-MM algorithms appear to be less sensitive to initialization.

研究の動機と目的

• 主な制限を克服することを目的とし、特に初期値への感受性とアプリケーション固有の事前知識を統合する柔軟性のなさ。
• 従来の接触制約を超えるより柔軟な境界選択を可能にしつつも収束性を保証する一般化最適化フレームワークの開発。
• 目的関数を変更せずに、事前知識や不確実性のモデル化といった補助情報の統合を可能にする。
• G-MMが非凸最適化タスク、特に潜在変数モデルやクラスタリングにおいてMMを上回ることを実験的に示すこと。
• 反復的最適化における境界接触条件の緩和について、理論的および実用的根拠を提供すること。

提案手法

• G-MMは、補助的境界が直前の反復の最適化点で目的関数に接触する必要があるというMMの要件を緩和することで一般化する。
• 目的関数の改善に基づく進行度測度を導入し、十分な進捗を示す任意の有効な境界を選択可能にする。
• 決定的および確率的境界選択戦略の両方をサポートし、アプリケーション固有の関数を用いたバイアス付きサンプリングも可能。
• 潜在変数モデルでは、Pottsエネルギーが低いような一貫性の高いラベリングを好むバイアス関数を用いる。
• 各境界が目的関数を十分に減少させるように保証することで、収束保証を維持する。接触がなくてもよいが、目的関数の減少が確保される。
• G-MMはk-meansクラスタリングおよび潜在構造SVMに適用され、問題構造に合わせた境界構築が行われる。

実験結果

リサーチクエスチョン

• RQ1 MMにおける接触制約を緩和することで、非凸最適化における収束のロバスト性が向上し、初期値への感受性が低減するか？
• RQ2 G-MMは、ラベルの一貫性に関する事前知識のようなアプリケーション固有の事前知識を、目的関数を変更せずに統合できるか？
• RQ3 G-MMは、潜在変数モデルにおいて、標準的なMMやCCPに比べ、最終的な目的関数値および精度で優れているか？
• RQ4 境界選択戦略（ランダム vs. バイアス付き）の選択が、G-MMの性能および収束速度に与える影響は？
• RQ5 G-MMは、より柔軟で情報量の多い境界構築を許容しつつも、収束保証を維持できるか？

主な発見

• ランダムな境界を用いたG-MMは、複数の実験において、CCPと比較して訓練目的関数値とテスト精度の両方で一貫して優れている。
• 一貫性のあるラベリング（例：低Pottsエネルギー）を好むバイアス関数を用いることで、シーン認識タスクにおける精度がλ=1の条件下でCCPの46.6％からG-MMの56.0％に向上した。
• クラスタリングタスクにおいて、G-MMはCCPよりも初期値への感受性が著しく低く、複数のランダムシードにおける分散が小さくなった。
• シーン認識の実験では、バイアス付き境界を用いたG-MMは145回の反復（MM）に対して87回の反復で収束し、より低い目的関数値を達成した。
• クラスタリングでは、バイアス付き境界を用いたG-MMは138.64 ± 5.9回の反復（MMは114.98 ± 12.9回）を要したが、平均性能が優れていた。
• G-MMにおける境界最適化のオーバーヘッドは管理可能であり、シーン認識ではサンプリングが数秒、クラスタリングでは数分程度で済み、最適化ステップ自体は効率的であった。