[論文レビュー] LSMI-Sinkhorn: Semi-supervised Squared-Loss Mutual Information Estimation with Optimal Transport.

Yanbin Liu, Makoto Yamada+4 more|arXiv (Cornell University)|Sep 5, 2019

Neural Networks and Applications参考文献 25被引用数 4

ひとこと要約

本稿では、最適輸送と二次計画法を用いて、限定的なペairedデータと豊富なunpairedデータを統合することで、半教師あり二乗損失相互情報推定法であるLSMI-Sinkhornを提案する。密度比推定を通じてSMIを定式化し、Sinkhorn正則化付き最適輸送手法で解くことで、ペアデータが少ない状況でも正確な相互情報推定が可能となり、画像マッチングおよびフォトアルバム要約タスクで優れた性能を示す。

ABSTRACT

Estimating mutual information is an important machine learning and statistics problem. To estimate the mutual information from data, a common practice is preparing a set of paired samples. However, in some cases, it is difficult to obtain a large number of data pairs. To address this problem, we propose squared-loss mutual information (SMI) estimation using a small number of paired samples and the available unpaired ones. We first represent SMI through the density ratio function, where the expectation is approximated by the samples from marginals and its assignment parameters. The objective is formulated using the optimal transport problem and quadratic programming. Then, we introduce the least-square mutual information-Sinkhorn algorithm (LSMI-Sinkhorn) for efficient optimization. Through experiments, we first demonstrate that the proposed method can estimate the SMI without a large number of paired samples. We also evaluate and show the effectiveness of the proposed LSMI-Sinkhorn on various types of machine learning problems such as image matching and photo album summarization.

研究の動機と目的

• ペアデータがわずかにしか利用できない状況における相互情報推定の課題に対処すること。
• 限定的なペアデータに加えてunpairedデータを統合することで、SMI推定の精度を向上させること。
• 最適輸送と二次計画法を用いた効率的な最適化フレームワークを構築すること。
• 画像マッチングやフォトアルバム要約といった実世界の機械学習タスクにおける手法の評価を行うこと。

提案手法

• 本手法は、同時分布と周辺分布の積との間の密度比関数を用いて、二乗損失相互情報（SMI）を表現する。
• ペアデータとunpairedデータを結ぶ割り当てパラメータを備えた最適輸送問題としてSMI推定を定式化する。
• 計算効率と安定性を確保するため、Sinkhorn正則化付きの二次計画法で目的関数を解く。
• 微分可能かつ最適な輸送計画をSinkhorn反復から得ることで、最小二乗相互情報-Sinkhorn（LSMI-Sinkhorn）アルゴリズムがSMI目的関数を最適化する。
• unpairedデータを活用することで、密度比の推定を向上させ、大規模なペアデータセットへの依存度を低減する。
• ペアデータが不足する状況でもスケーラブルで効果的なアプローチとして設計されている。

実験結果

リサーチクエスチョン

• RQ1 限定的なペアデータと大量のunpairedデータを用いて、SMI推定を効果的に改善できるか？
• RQ2 最適輸送を介してunpairedデータを統合することで、相互情報推定の精度がどのように向上するか？
• RQ3 ペアデータが限られた半教師あり学習のシナリオにおいて、LSMI-Sinkhorn手法の性能はいかがなものか？
• RQ4 画像マッチングおよびフォトアルバム要約タスクにおいて、従来のSMI推定手法と比較して本手法はどのように差をつけるか？

主な発見

• 提案手法のLSMI-Sinkhornは、ペアデータがわずかであっても正確なSMI推定を達成でき、大規模なラベル付きデータセットへの依存を低減する。
• 最適輸送を介してunpairedデータを効果的に活用することで、画像マッチングタスクにおける性能が向上する。
• フォトアルバム要約タスクでは、限定的なペア例を用いた相互情報推定を活用することで、ベースライン手法を上回る性能を示す。
• Sinkhorn正則化付き最適輸送の定式化により、安定的かつ効率的な最適化が可能となり、実世界の応用にとって不可欠である。
• 実験結果から、unpairedデータの統合がSMI推定のロバスト性と精度を顕著に向上させることを確認した。