[論文レビュー] An Adaptive Total Variation Algorithm for Computing the Balanced Cut of a Graph

Xavier Bresson, Thomas Laurent+2 more|arXiv (Cornell University)|Feb 12, 2013

Complexity and Algorithms in Graphs参考文献 15被引用数 15

ひとこと要約

本稿では、グラフのバランスカットを計算するための適応的全 variation (TV) アルゴリズムを提案する。従来の手法に比べ、内側のTV最小化における動的停止基準を導入することで、改善が図られている。新しい手法は、TV-バランスカットエネルギーの単調減少を保証し、実用的な収束性を確保するとともに、非適応的対応手法と比較して2倍以上の高速化を達成しながら、精度を維持している。

ABSTRACT

We propose an adaptive version of the total variation algorithm proposed in [3] for computing the balanced cut of a graph. The algorithm from [3] used a sequence of inner total variation minimizations to guarantee descent of the balanced cut energy as well as convergence of the algorithm. In practice the total variation minimization step is never solved exactly. Instead, an accuracy parameter is specified and the total variation minimization terminates once this level of accuracy is reached. The choice of this parameter can vastly impact both the computational time of the overall algorithm as well as the accuracy of the result. Moreover, since the total variation minimization step is not solved exactly, the algorithm is not guarantied to be monotonic. In the present work we introduce a new adaptive stopping condition for the total variation minimization that guarantees monotonicity. This results in an algorithm that is actually monotonic in practice and is also significantly faster than previous, non-adaptive algorithms.

研究の動機と目的

• TV-バランスカットアルゴリズムにおける非適応的全 variation 最小化の不安定性と非効率性を解消すること。
• 内側の全 variation 解法における停止基準を設計し、実用的に単調性を保つこと。
• 不正確な内側解法が存在する中でも、理論的収束性（例：単調性、局所安定性）が保たれることを保証すること。
• 解の精度を損なわせることなく、計算効率を大幅に向上させること。
• 機械学習応用におけるグラフ分割のための、強固で高速かつ信頼性の高いアルゴリズムを提供すること。

提案手法

• エネルギー減少に基づくROF（Rudin-Osher-Fatemi）全 variation 最小化部分問題に対する適応的停止条件を導入する。
• 各外側反復においてエネルギーが減少するように保証する動的閾値を用いる。
• 現在のエネルギーレベルに連動した可変ペナルティパラメータを有する修正された近位アルゴリズムを採用する。
• 単位 $\ell^2$-ノルムおよびメジアンゼロ制約を維持するための正規化ステップを適用する。
• 全 variation 解法の半群性および連続性の性質を活用し、理論的保証を維持する。
• エネルギー改善に基づく収束基準を用いる：$||f^k||_{TV} > ||h^k||_{TV} + \theta E(f^k) ||h^k - f^k||^2_2 - E(f^k)\langle v^k, h^k - f^k \rangle$ で、$\theta = 0.99$。

実験結果

リサーチクエスチョン

• RQ1 全 variation 最小化のための適応的停止基準を設計することで、実用的に TV-バランスカットエネルギーの単調減少を保証できるか？
• RQ2 不正確な内側解法が存在する中でも、提案手法は理論的収束性（例：単調性、局所安定性）を保っているか？
• RQ3 提案手法は、先行研究の非適応的バージョンと比較して、速度と精度で優れているか？
• RQ4 実世界のデータセットにおいて、解の品質を維持したまま、より速い収束を達成できるか？
• RQ5 適応的停止ルールは、機械学習におけるグラフ分割の信頼性とロバスト性にどのような影響を与えるか？

主な発見

• 非適応的手法 [3] と比較して、2倍以上の高速化を達成しており、MNISTデータセットでは21.85分対45.01分の計算時間を記録した。
• USPSデータセットでは、非適応的手法が5.15分から適応的手法が3.08分に短縮され、分類誤差は同一の4.11％を維持した。
• 2つのムーンデータセットでは誤差がわずかに上昇（9.06％対8.69％）したが、計算時間は2.03秒から2.06秒に著しく短縮された。
• 非適応的バージョンとは異なり、適応的停止ルールのおかげで、実用的に単調性が保たれている。
• 全 variation 解法にやや弱い仮定を課す限り、リャプノフ安定性や臨界点性質といった理論的保証が維持されている。
• 本手法は再現可能であり、コードは http://www.cs.cityu.edu.hk/~xbresson/codes.html で公開されている。