[論文レビュー] Multimodal Representation Learning via Maximization of Local Mutual Information

Ruizhi Liao, Daniel Moyer+6 more|arXiv (Cornell University)|Mar 7, 2021

Multimodal Machine Learning Applications参考文献 39被引用数 32

ひとこと要約

本稿では、画像のパッチと文レベルのテキスト埋め込みの間の局所的相互情報（MI）を最大化することで、下流の画像分類を向上させるマルチモーダル表現学習フレームワークを提案する。画像とテキストのエンコーダーを、ニューラルネットワークディスクライマに依存してMI推定を行うことで、局所的な視覚的特徴と対応するテキスト記述を整列させるように訓練することで、医療画像ベンチマークにおいて最先端の性能を達成し、グローバルMIや教師ありベースラインを上回る。特に、下流タスクで微調整された場合に顕著な向上が見られる。

ABSTRACT

We propose and demonstrate a representation learning approach by maximizing the mutual information between local features of images and text. The goal of this approach is to learn useful image representations by taking advantage of the rich information contained in the free text that describes the findings in the image. Our method trains image and text encoders by encouraging the resulting representations to exhibit high local mutual information. We make use of recent advances in mutual information estimation with neural network discriminators. We argue that the sum of local mutual information is typically a lower bound on the global mutual information. Our experimental results in the downstream image classification tasks demonstrate the advantages of using local features for image-text representation learning.

研究の動機と目的

• 自由なテキストレポート（レントゲン報告書）を教師信号として活用することで、医療画像分野における画像表現学習を改善すること。
• グローバル相互情報が細粒度の画像・テキスト整列を捉えきれないという限界を克服し、局所的特徴に焦点を当てること。
• 画像領域とその対応するテキスト記述をより良く整列させることで、下流分類タスクの性能を向上させること。
• 局所的MI最大化が、グローバルMIや教師あり事前学習に比べて、より柔軟でタスクに適応可能な表現を生成することを示すこと。

提案手法

• レントゲン報告書から抽出した文レベルのテキスト特徴と、局所的画像特徴（例：4×4×512のパッチ）の間の相互情報（MI）を最大化する手法を提案する。
• MINEとCPC推定器を用いて、MIの下界を推定・最適化するためのニューラルネットワークディスクライマを用い、安定性を確保する。
• マッチング済みおよびシャッフル済みの画像・テキストペアに対してコントラストIVEな目的関数を最適化することで、画像エンコーダーとテキストエンコーダー、およびMIディスクライマを同時に訓練する。
• 与えられた文に対してMIが最大となる画像パッチを選択し、その整列を最適化することで、局所的MI最大化を実現する。
• 局所的MIには5ブロックのResNet、グローバルMIには6ブロックのResNetを用い、臨床的BERTをテキスト符号化に、マルチレイヤーパーセプトロンをMI識別に用いる。
• 下流分類タスクで画像エンコーダーを微調整することで、固定された特徴やグローバル整列特徴よりも優れた性能を示す。

実験結果

リサーチクエスチョン

• RQ1 画像パッチと文レベルのテキスト記述の間の局所的相互情報の最大化は、グローバルMIや教師あり学習に比べて、より優れた画像表現をもたらすか？
• RQ2 医療画像分類タスクにおいて、局所的MI最大化はグローバルMIと比較して、下流分類性能でどのように異なるか？
• RQ3 画像エンコーダーが固定された状態でも、局所的MI学習は性能向上をもたらすか？それとも、微調整がその利点を発揮するために不可欠か？
• RQ4 MI推定器の選択（例：MINE対CPC）に依存して、局所的MIの性能向上が安定しているか？

主な発見

• 微調整済みエンコーダーを用いた局所的MIアプローチは、EdemaSeverity順序分類タスクで平均AUC 0.88を達成し、次に優れた手法（グローバルMIで0.85）を顕著に上回った。
• Pathology9二値分類ベンチマークでは、チューニング済みの局所的MI手法が平均AUC 0.84を達成したのに対し、グローバルMIでは0.81にとどまり、複数の病理状態で一貫した向上が確認された。
• エンコーダーを固定した状態でも、局所的MI手法は複数のタスクで完全に教師あり学習と同等のAUCスコアを達成し、強力な教師なし特徴学習の能力を示した。
• 局所的MIの性能向上は、特に画像エンコーダーを微調整した場合に顕著であり、局所的MIがより適応可能でタスク特化された表現を生成することを示唆している。
• MI推定器の選択にほとんど感受性がなく、MINEとCPCの両方で、タスク全体を通じて類似した性能が得られた。
• 局所的MI最大化は、次元が低い表現と1枚の画像あたりの訓練サンプル数が増えることから、最適化のしやすさと一般化性能の向上に寄与し、より良い最適化の様相を示した。