[論文レビュー] Neural Methods for Point-wise Dependency Estimation

Yao-Hung Hubert Tsai, Han Zhao+3 more|arXiv (Cornell University)|Jun 9, 2020

Neural Networks and Applications参考文献 52被引用数 6

ひとこと要約

本稿では、相互情報量（MI）の変動性に起因する問題を回避するため、点별依存度（PD）推定のためのニューラル手法を導入する。これは、変動性の低い推定を可能にするために、教師あり分類または密度比適合問題として定式化される。提案手法の確率的分類器および密度比適合法は、低分散かつ安定したPD推定を実現し、先行するMI推定器を上回り、自己教師あり表現学習およびクロスモodal検索の性能を向上させる。

ABSTRACT

Since its inception, the neural estimation of mutual information (MI) has demonstrated the empirical success of modeling expected dependency between high-dimensional random variables. However, MI is an aggregate statistic and cannot be used to measure point-wise dependency between different events. In this work, instead of estimating the expected dependency, we focus on estimating point-wise dependency (PD), which quantitatively measures how likely two outcomes co-occur. We show that we can naturally obtain PD when we are optimizing MI neural variational bounds. However, optimizing these bounds is challenging due to its large variance in practice. To address this issue, we develop two methods (free of optimizing MI variational bounds): Probabilistic Classifier and Density-Ratio Fitting. We demonstrate the effectiveness of our approaches in 1) MI estimation, 2) self-supervised representation learning, and 3) cross-modal retrieval task.

研究の動機と目的

• 相互情報量（MI）が集約統計量としての限界を克服し、インスタンスレベルの依存度分析に向けた点別依存度（PD）推定を導入すること。
• 実務的な推定を妨げる神経的MI変分下界における高い分散を克服すること。
• 周辺尤度推定を回避し、高次元かつ複雑な構造を持つデータにスケーラブルなデータ駆動型、ニューラルネットワークベースの手法を開発すること。
• PD推定がMI推定、自己教師あり表現学習、およびクロスモダリティ検索タスクにおいて有効であることを示すこと。
• マルチモーダルデータセットにおける悪意あるまたは外れ値のサンプルをPDベースの分析によって検出可能にする。

提案手法

• モデルが結合分布と独立な周辺分布のサンプルを区別できるように、確率的分類器を用いてPD推定を教師あり二値分類タスクとして定式化する。
• ニューラルネットワークを用いて交差エントロピー損失で訓練し、安定した最適化と分散の低減を実現する。
• 真のPDと推定PDの二乗誤差を最小化する密度比適合法を提案し、数値安定性を確保するため対数および指数関数の演算を回避する。
• xとyの特徴エンコーダーを共有する別個のクリティックアーキテクチャを用い、ロジットを個々の表現のドット積として計算する。
• 確率的解釈のため、ReLU活性化関数、512-128の隠れ層、およびシグモイド出力を確率的分類器に適用する。
• Adamを用いてバッチサイズ512、100エポックで最適化し、大数の法則に従う経験的リスク最小化により一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 高分散のMI変分下界に依存せずに、ニューラルネットワークを用いて点別依存度を効果的に推定できるか？
• RQ2 確率的分類器と密度比適合法は、MI推定タスクにおける分散、安定性、性能の観点でどのように比較されるか？
• RQ3 PD推定は、浅いおよび深いニューラルネットワークアーキテクチャの両方における自己教師あり表現学習を向上させることができるか？
• RQ4 PD推定は、音声-テキストペアのようなクロスモダリティデータセットにおいて、悪意あるまたは異常なサンプルをどの程度まで検出できるか？
• RQ5 高次元設定において、PD推定は従来のMI推定器と比較してバイアスと分散の両面で優れているか？

主な発見

• 提案手法のPD推定法は、特にMI下界の不安定性を回避する点で、先行するニューラルMI推定器と比較して低いバイアスと分散を達成した。
• 密度比適合法は、浅いおよび深い自己教師あり表現学習モデルの両方で一貫して性能を向上させる新しい対照的損失を生み出した。
• クロスモダリティ検索において、PD推定は訓練セット全体の0.45%に相当する147語（負のPMIを示す）の依存度が低いか、負であることを特定した。
• 語尾が'ly'および's'である語が、負のPMIと著しく関連していることが判明し、これらは悪意あるまたは不整合なサンプルである可能性が高いと示唆された。
• PD推定器は、高次元連続データにおいても頑健であることが実証され、カーネルベースおよび尤度ベースの代替手法に比べてスケーラビリティと正確性の両面で優れていた。
• 経験的結果から、確率的分類器および密度比適合によるPD推定は、特に外れ値または悪意ある例の同定に向けたデータセットデバッグにおいて有効であることが示された。