[論文レビュー] Batch greedy maximization of non-submodular functions: Guarantees and applications to experimental design

Jayanth Jagalur‐Mohan, Youssef Marzouk|arXiv (Cornell University)|Jun 3, 2020

Complexity and Algorithms in Graphs被引用数 8

ひとこと要約

本稿では、部分的劣微分比と超劣微分比を用いて理論的保証を導出することで、非部分的劣微分的かつ単調な集合関数の最大化のためのバッチグリーディアルゴリズムを提案する。この手法はベイジアン最適実験設計に適用され、相互情報量の新たなモジュラー境界を提供し、リーダーシップスコアとボリュームサンプリングと結びつける。合成問題および気候モニタリング問題における実験的妥当性が確認されている。

ABSTRACT

We propose and analyze batch greedy heuristics for cardinality constrained maximization of non-submodular non-decreasing set functions. We consider the standard greedy paradigm, along with its distributed greedy and stochastic greedy variants. Our theoretical guarantees are characterized by the combination of submodularity and supermodularity ratios. We argue how these parameters define tight modular bounds based on incremental gains, and provide a novel reinterpretation of the classical greedy algorithm using the minorize-maximize (MM) principle. Based on that analogy, we propose a new class of methods exploiting any plausible modular bound. In the context of optimal experimental design for linear Bayesian inverse problems, we bound the submodularity and supermodularity ratios when the underlying objective is based on mutual information. We also develop novel modular bounds for the mutual information in this setting, and describe certain connections to polyhedral combinatorics. We discuss how algorithms using these modular bounds relate to established statistical notions such as leverage scores and to more recent efforts such as volume sampling. We demonstrate our theoretical findings on synthetic problems and on a real-world climate monitoring example.

研究の動機と目的

• 集合関数が非部分的劣微分的かつ単調であるが、基数制約のもとで最大化するという課題に取り組む。これは実験設計や機械学習の文脈で一般的に見られる状況である。
• 古典的グリーディ最適化における制限である、部分的劣微分性を満たさない関数に対して、バッチグリーディアルゴリズムの理論的性能保証を構築する。
• 線形ベイジアン最適実験設計にこのフレームワークを適用し、パラメータ推定のための相互情報量が目的関数となる。
• ベイジアン逆問題における相互情報量のための新たなモジュラー境界を導出することで、より優れたアルゴリズム設計と分析を可能にする。
• リーダーシップスコアやボリュームサンプリングといった確立された統計的概念と、提案手法を結びつけることで、解釈可能性と実用的妥当性を高める。

提案手法

• 部分的劣微分比と超劣微分比に基づく理論的分析を用いて、複数の要素を一度に選択するインクリメンタル利得を用いたバッチグリーディアルゴリズム（標準的、分散型、確率的）を導入する。
• 古典的グリーディアルゴリズムを最小化・最大化（MM）原理によって再解釈し、任意の妥当なモジュラー境界を活用できる新しいクラスのアルゴリズムを構築する。
• 線形ベイジアン逆問題における相互情報量の目的関数に対して、共分散作用素のスペクトル的性質を用いて部分的劣微分比と超劣微分比を定義・計算する。
• 行列解析と一般化固有値問題を活用し、作用素凹関数（例：行列式の対数）を用いて相互情報量のモジュラー境界を構築する。
• 得られたアルゴリズムを統計的概念と結びつける：対角優位性によるリーダーシップスコア、および行列式点過程によるボリュームサンプリング。
• 合成問題および現実世界の気候モニタリングセンサー配置タスクにおいてアルゴリズムを実装・評価し、実験的性能と理論的一致性を示す。

実験結果

リサーチクエスチョン

• RQ1 非部分的劣微分的集合関数に適用する際、バッチグリーディアルゴリズムはどのように理論的裏付けを得られるか？
• RQ2 部分的劣微分比と超劣微分比は、バッチグリーディ手法の近似保証を特徴付ける上で果たす役割は何か？
• RQ3 作用素凹不等式と行列理論を用いて、ベイジアン実験設計における相互情報量のモジュラー境界を構築できるか？
• RQ4 提案手法は、リーダーシップスコアやボリュームサンプリングといった確立された統計的概念とどのように関連するか？
• RQ5 理論的保証とアルゴリズム設計の向上は、気候モニタリングのような現実世界の実験設計問題における性能向上にどの程度寄与するか？

主な発見

• 本稿では、部分的劣微分比と超劣微分比の積を用いて、非部分的劣微分関数に対するバッチグリーディアルゴリズムの理論的近似保証を確立した。
• 線形ベイジアン逆問題における相互情報量に関して、共分散作用素のスペクトル的性質を用いて部分的劣微分比と超劣微分比が有界であることを示した。
• 提案された相互情報量のモジュラー境界は、特に対数行列式関数を含む作用素凹不等式を用いて導出された。
• MMに基づくアルゴリズムフレームワークにより、グリーディ選択の新たな解釈が可能となり、標準的な部分勾配に基づくものに限らない任意の有効なモジュラー境界の利用が可能になった。
• 合成問題および気候モニタリング問題における実験的結果から、バッチグリーディアルゴリズムが優れた性能を発揮することが示された。特に、提案されたモジュラー境界により収束性と安定性が向上した。
• リーダーシップスコアとボリュームサンプリングとの関係が明確に形式化され、提案手法が既存のサンプリングおよび実験設計技術の側面を一般化・統合していることが示された。