[論文レビュー] End-to-End Attention-based Image Captioning

Carola Sundaramoorthy, Lin Ziwen Kelvin+2 more|arXiv (Cornell University)|Apr 30, 2021

Multimodal Machine Learning Applications参考文献 26被引用数 7

ひとこと要約

本論文は、ノイズが多いまたは特徴が少ない分子画像に対して、従来のCNN+RNNエンコーダーに代わって純粋なトランスフォーマー構造を採用したエンドツーエンドのビジョントランスフォーマー（ViT）ベースのモデルを提案する。このモデルは、InChI生成において平均6.95のレーベンシュタイン距離を達成し、ResNet+LSTMベースラインより15%の編集距離低減を実現した。

ABSTRACT

In this paper, we address the problem of image captioning specifically for molecular translation where the result would be a predicted chemical notation in InChI format for a given molecular structure. Current approaches mainly follow rule-based or CNN+RNN based methodology. However, they seem to underperform on noisy images and images with small number of distinguishable features. To overcome this, we propose an end-to-end transformer model. When compared to attention-based techniques, our proposed model outperforms on molecular datasets.

研究の動機と目的

• ノイズが多いまたは特徴が少ない分子画像から正確なInChI表記を生成する際の、ルールベースおよびCNN+RNNモデルの限界を是正すること。
• トランスフォーマーの自己注意機構を活用して、長距離および局所的特徴のモデリングを改善することで、分子翻訳性能を向上させること。
• 手作業による特徴抽出を回避し、ドメイン特化のルールに依存しないシンプルでエンドツーエンドで学習可能なモデルを開発すること。
• 特に科学的出版物から得た現実的で不完全な画像を対象として、ビジョントランスフォーマーの分子構造認識およびInChI生成への有効性を評価すること。

提案手法

• 従来の画像キャプションパイプラインにおけるCNNエンコーダーを、畳み込みのインダクティブバイアスを持たないパッチベースの画像表現を抽出するビジョントランスフォーマー（ViT）に置き換える。
• 標準的なトランスフォーマー・デコーダーを用い、自己回帰的デコードにより、画像特徴に条件づけた形でInChI文字列をトークン単位で生成する。
• デコードステップ間でエンコーダー出力およびデコード済みトークン埋め込みをキャッシュして再利用するメカニズムを実装し、重複計算を削減する。
• エンコーダーとデコーダーのモジュールを分離することで推論速度を最適化し、エンコーダー出力を一度計算して自己回帰的生成中に再利用可能にする。
• 注意行列のキャッシュではなく、隠れ状態をレイヤー単位でキャッシュすることで、1ステップあたりの時間計算量をO(N³)からO(MN + N²)に削減する。
• Bristol-Myers Squibb、GDB-13、および拡張された分子画像を含むデータセットを用いて、クロスエントロピー損失に基づきエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 純粋なトランスフォーマー・エンコーダー・デコーダー構造のモデルは、分子構造画像からInChI表記を生成する際、CNN+RNNモデルを上回る性能を発揮できるか？
• RQ2 ViTエンコーダーが長距離依存性を捉える能力が、ノイズが多いまたは特徴が少ない分子画像における性能向上にどのように寄与するか？
• RQ3 出力キャッシュやモジュール分離といったアーキテクチャ最適化は、正確性を損なわずに推論時間をどの程度短縮できるか？
• RQ4 入力解像度（例：384×384）とパッチサイズ（16×16）を増加させることでモデル性能が向上するか？また、これによりシーケンス長制約にどのような影響があるか？

主な発見

• ViTベースのモデルは、InChI生成において平均6.95のレーベンシュタイン距離を達成し、最良の性能を示したResNet+LSTMベースライン（7.49）より15%の編集距離低減を実現した。
• トランスフォーマー層の数を3から24に増加させることで、モデルの正確性が顕著に向上し、24層がテストセットで最良の性能を達成した。
• ResNet50+LSTM（7.49のレーベンシュタイン距離）ですら、より多くのパラメータと長い学習期間を要するにもかかわらず、本モデルはすべてのCNN+RNNベースラインを上回った。
• キャッシュおよびモジュール分離技術により、推論時間計算量がO(N³)からO(MN + N²)に削減され、再計算を最小限に抑えながら高速な自己回帰的デコードが可能になった。
• 384×384の画像を16×16のパッチで処理した場合、224×224のものよりも性能が向上した。これは、より長いシーケンス長が自己注意機構の恩恵を受けることを示唆している。