[論文レビュー] Project and Forget: Solving Large Scale Metric Constrained Problems

Anna C. Gilbert, Rishi Sonthalia|arXiv (Cornell University)|Sep 25, 2019

Machine Learning and Algorithms参考文献 29被引用数 5

ひとこと要約

本論文では、多数の不等式制約を伴う大規模なメトリック制約付き問題を解くために、Bregman射影を用いたアクティブセット法であるProject and Forgetを提案する。この手法は、全空間収束を保証し、$L_2$誤差が指数関数的に減少する。メトリックニアネス、相関クラスタリング、メトリック学習の大きな問題インスタンスにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

Given a set of dissimilarity measurements amongst data points, determining what metric representation is most consistent with the input measurements or the metric that best captures the relevant geometric features of the data is a key step in many machine learning algorithms. Existing methods are restricted to specific kinds of metrics or small problem sizes because of the large number of metric constraints in such problems. In this paper, we provide an active set algorithm, Project and Forget, that uses Bregman projections, to solve metric constrained problems with many (possibly exponentially) inequality constraints. We provide a theoretical analysis of extsc{Project and Forget} and prove that our algorithm converges to the global optimal solution and that the $L_2$ distance of the current iterate to the optimal solution decays asymptotically at an exponential rate. We demonstrate that using our method we can solve large problem instances of three types of metric constrained problems: general weight correlation clustering, metric nearness, and metric learning; in each case, out-performing the state of the art methods with respect to CPU times and problem sizes.

研究の動機と目的

• 非常に多くの不等式制約を伴う大規模なメトリック制約付き最適化問題を解く挑戦に応えること。
• 小規模な問題サイズや特定のメトリックタイプに限定される既存手法の限界を克服すること。
• 理論的収束保証を維持しながら、一般のメトリック制約を扱えるスケーラブルで効率的なアルゴリズムを開発すること。

提案手法

• アルゴリズムは、反復的に最も関連性の高いメトリック制約を特定し、それを強制するアクティブセット戦略を用いる。
• 反復点をアクティブ制約で定義される実行可能集合に効率的に射影するために、Bregman射影を適用する。
• 違反検出に基づいて、アクティブセットから制約を動的に追加・削除することで、大規模あるいは指数的数の制約に対してもスケーラブルである。
• Bregman散発の構造を活用することで、収束を保証するとともに、計算効率を維持する。
• 三角不等式や非負性を含む一般のメトリック制約を統一的な枠組みで扱えるように設計されている。
• 漸近的に、現在の反復点と最適解との間の$L_2$距離が指数関数的に減少し、高速な収束を実現する。

実験結果

リサーチクエスチョン

• RQ1 Bregman射影を用いたアクティブセット法は、指数的数の制約を伴う大規模なメトリック制約付き問題を、効率的かつ信頼性を持って解くことができるか？
• RQ2 提案手法は、$L_2$誤差において全空間収束と指数的収束率を保証するか？
• RQ3 CPU時間とスケーラビリティの観点から、Project and Forgetは、さまざまなメトリック学習タスクにおいて最先端の手法と比較してどのように性能を発揮するか？

主な発見

• Project and Forgetは、理論的保証のもとで、メトリック制約付き問題の最適解へ全空間収束する。
• 現在の反復点と最適解との間の$L_2$距離は、漸近的に指数関数的に減少する。
• 一般重み付き相関クラスタリング、メトリックニアネス、メトリック学習問題の大規模インスタンスを効果的に解くことに成功した。
• 3つの問題タイプすべてにおいて、CPU時間と問題サイズのスケーラビリティの両面で、最先端の手法を上回った。
• 非常に多くの制約（指数的サイズに達する可能性すらある）を伴う問題を、効率に損なわず処理できる。
• 実験的結果は理論的収束率を確認し、大規模ベンチマークにおいて顕著な高速化を示した。