[論文レビュー] Submodular Observation Selection and Information Gathering for Quadratic Models

Abolfazl Hashemi, Mahsa Ghasemi+2 more|arXiv (Cornell University)|May 23, 2019

Distributed Sensor Networks and Detection Algorithms被引用数 6

ひとこと要約

本稿では、ヴァン・ツィンズの不等式に基づいて導出された新しいアルファベット的最適性基準を用いて、2次測定モデルのための新規なグリーディ観測選択フレームワークを提案する。これらの基準は、理論的に単調かつ弱くサブモジュラであることが保証されており、平均二乗誤差（MSE）と強い関連性を持つ。この手法により、効率的かつ理論的に境界が保証された情報量の多い観測の選択が可能となり、位相再構成およびマルチオブジェクトトラッキングのタスクにおいて、線形化に基づく手法やランダム選択法を上回る性能を発揮する。

ABSTRACT

We study the problem of selecting most informative subset of a large observation set to enable accurate estimation of unknown parameters. This problem arises in a variety of settings in machine learning and signal processing including feature selection, phase retrieval, and target localization. Since for quadratic measurement models the moment matrix of the optimal estimator is generally unknown, majority of prior work resorts to approximation techniques such as linearization of the observation model to optimize the alphabetical optimality criteria of an approximate moment matrix. Conversely, by exploiting a connection to the classical Van Trees' inequality, we derive new alphabetical optimality criteria without distorting the relational structure of the observation model. We further show that under certain conditions on parameters of the problem these optimality criteria are monotone and (weak) submodular set functions. These results enable us to develop an efficient greedy observation selection algorithm uniquely tailored for quadratic models, and provide theoretical bounds on its achievable utility.

研究の動機と目的

• 従来の最適性基準が平均二乗誤差（MSE）との関連を失う非線形2次モデルにおいて、情報量の多い観測を選択する課題に対処すること。
• 線形化近似を避けるために、ヴァン・ツィンズの不等式を活用し、MSEへの直接的な関連性を保つ新しい情報収集基準を構築すること。
• これらの新基準が単調かつ弱くサブモジュラであると証明できる理論的条件を確立すること。
• 2次モデルにおける観測選択のためのグリーディアルゴリズムを設計し、性能保証を明示すること。
• 提案フレームワークが位相再構成およびマルチオブジェクトトラッキングの実応用において、線形化に基づく手法やランダム選択法を上回ることを実験的に検証すること。

提案手法

• 任意の推定器の事後平均二乗誤差をバウンドするヴァン・ツィンズの不等式に基づいて、新しいアルファベット的最適性基準（A-およびD-最適性）を導出する。
• モデルパラメータおよび測定特徴量にやや緩い統計的条件下で、これらの基準が単調かつ弱くサブモジュラであることを証明する。
• 2次モデルを線形化せずに、導出されたヴァン・ツィンズに基づく最適性基準を最大化するグリーディ観測選択アルゴリズムを開発する。
• 得られた有効性関数をMSE最小化の代理として用い、サブモジュラ最適化理論による理論的性能境界を保証する。
• 2つの実世界応用にこのフレームワークを適用する：距離測定を用いたマルチオブジェクトトラッキングと、フーリエ振幅測定を用いた位相再構成。
• 全探索と比較し、線形化モデル、ランダム選択、局所最適スキームと照合することで、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ヴァン・ツィンズの不等式を活用して、2次モデルのためのMSEへの直接的関連性を保つ最適性基準を導出可能か？
• RQ2 提案されたヴァン・ツィンズに基づく基準が単調かつ弱くサブモジュラである条件は何か？
• RQ3 これらの基準に基づくグリーディアルゴリズムは、非線形2次モデルにおける観測選択で、証明可能な良好な性能を達成できるか？
• RQ4 提案フレームワークの性能は、実応用において線形化に基づく手法やランダム観測選択と比べてどの程度優れているか？
• RQ5 信号対雑音比（SNR）や測定設定が変化する条件下でも、有効性に関する理論的境界はどの程度成立するか？

主な発見

• 提案されたヴァン・ツィンズに基づくA-最適性基準は、複素正規分布およびDFTベースの位相再構成シナリオの両方で、最小の正規化平均二乗誤差（NRMSE）を達成し、D-最適性およびランダム選択を上回る性能を示した。
• 複素正規分布測定ケースでは、i.i.d.測定ベクトルと等しい雑音パワーのため、D-最適性はランダム選択と同程度の性能を示した。これは、エントロピー増加分の類似性が期待通りに成立していることを確認した。
• ヴァン・ツィンズのA-最適性に基づくグリーディアルゴリズムは、ヴァン・ツィンズの境界を全探索で得た結果に非常に近い性能を示し、実用的にほぼ最適性に近い結果を達成した。
• 弱いサブモジュラ性定数（WSC）に関する理論的境界は低SNRではタイトであるが、高SNRでは緩くなる傾向にあり、高SNR領域での改善の余地があることを示唆している。
• 選択された観測数が増加するにつれて、提案手法と他の手法との性能差が縮小する傾向を示した。これは、ヴァン・ツィンズの境界の漸近的正確性と整合的である。
• 線形化に基づく局所最適スキームは、初期推定値に敏感であるため、性能が著しく劣っていた。これは、本稿の非線形的かつ近似を避けるアプローチの優位性を強調している。