[論文レビュー] Stochastic Learning of Multi-Instance Dictionary for Earth Mover's Distance based Histogram Comparison

Jihong Fan, Ru‐Ze Liang|arXiv (Cornell University)|Sep 3, 2016

Image Retrieval and Classification Techniques参考文献 1被引用数 3

ひとこと要約

本稿では、確率的最適化を用いた最初のEMD最適なマルチインスタンス辞書学習手法を提案する。三つ組のバッグ（基本、陽性、陰性）を用いて、地球移動距離（EMD）に基づく比較に起因するヒンジ損失を最小化する辞書を学習する。この手法は、医療画像および自然言語処理のリtrievalタスクにおいて、EMDに基づくヒストグラム類似度を明示的に最適化することで、既存手法を上回る性能を達成する。

ABSTRACT

Dictionary plays an important role in multi-instance data representation. It maps bags of instances to histograms. Earth mover's distance (EMD) is the most effective histogram distance metric for the application of multi-instance retrieval. However, up to now, there is no existing multi-instance dictionary learning methods designed for EMD based histogram comparison. To fill this gap, we develop the first EMD-optimal dictionary learning method using stochastic optimization method. In the stochastic learning framework, we have one triplet of bags, including one basic bag, one positive bag, and one negative bag. These bags are mapped to histograms using a multi-instance dictionary. We argue that the EMD between the basic histogram and the positive histogram should be smaller than that between the basic histogram and the negative histogram. Base on this condition, we design a hinge loss. By minimizing this hinge loss and some regularization terms of the dictionary, we update the dictionary instances. The experiments over multi-instance retrieval applications shows its effectiveness when compared to other dictionary learning methods over the problems of medical image retrieval and natural language relation classification.

研究の動機と目的

• 地球移動距離（EMD）に基づくヒストグラム比較を特に最適化したマルチインスタンス辞書学習手法の不足を解消すること。
• 大規模なマルチインスタンス学習におけるバッチ最適化の非効率性を克服するため、確率的学習フレームワークを採用すること。
• 基本バッグとその陽性対応バッグ間のEMDが、陰性バッグとのEMDよりマージンを確保して小さくなるようにする学習目的関数を設計すること。
• EMDに基づく類似度メトリクスに直接対応するように辞書学習を整えることにより、マルチインスタンス応用におけるリtrieval性能を向上させること。

提案手法

• 三つ組ベースの学習フレームワークを採用：一つの基本バッグ、一つの陽性バッグ（同じクラス）、一つの陰性バッグ（異なるクラス）。
• 各バッグをマルチインスタンス辞書を用いてヒストグラムにマッピングし、ヒストグラムの値はインスタンス-辞書類似度から導出する。
• 基本バッグと陰性バッグ間のEMDが、基本バッグと陽性バッグ間のEMDよりマージン分大きくない場合にペナルティを与えるヒンジ損失を定義する。
• 確率的勾配降下法を用いて、ヒンジ損失に加え、辞書インスタンスに対するℓ₂正則化項を最小化することで辞書を最適化する。
• EMDの線形性（ヒストグラムのビンの重み付き和として表現可能）を活用し、最適化中に効率的な勾配計算を可能にする。
• 1つのバッグ三つ組ずつを処理する確率的最適化を適用することで、大規模データセットへのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 EMDに基づくヒストグラム比較を特に最適化するマルチインスタンス辞書を学習可能か？（分類誤差ではなく、EMDに基づく類似度を最適化する。）
• RQ2 大規模なマルチインスタンスリtrieバルにおいて、確率的最適化フレームワークが学習効率を向上させるか？
• RQ3 EMD距離にマージンベースのヒンジ損失を適用することで、標準的な辞書学習手法と比較してリtrieval性能が向上するか？
• RQ4 EMD最適な辞書学習は、医療画像処理や自然言語処理など異なる分野に一般化可能か？

主な発見

• DDS-M医療画像リtrieバルデータセットにおいて、SD-EMDはMMD、DTD、MILES、MILISのすべてのベースラインを顕著に上回り、リcall-precision曲線およびROC曲線の両方で優れた性能を示した。
• SemEval-2010タスク8の自然言語関係分類データセットでも、SD-EMDは再び最高の性能を達成し、視覚タスクにとどまらない汎用性を示した。
• SD-EMDのリcall-precision曲線は、すべてのベースラインと比較して常に右上に近づいており、優れた精度と再現率のトレードオフを示している。
• SD-EMDのROC曲線は、他のすべての手法よりも左上に近づいており、陽性バッグと陰性バッグを区別する優れた識別力を持っていることを確認した。
• この手法の性能向上は、従来の辞書学習アプローチで考慮されていないEMDに基づく類似度の直接最適化に起因する。
• 確率的最適化により、バッチ処理の計算負荷を回避し、大規模データセットでも効率的な学習が可能になった。