[論文レビュー] Learning like a Child: Fast Novel Visual Concept Learning from Sentence Descriptions of Images

Junhua Mao, Wei Xu+4 more|arXiv (Cornell University)|Apr 25, 2015

Multimodal Machine Learning Applications参考文献 58被引用数 64

ひとこと要約

本論文は、文の説明とペアになったわずかな画像から視覚的コンセプトを学ぶ「文からの新規視覚的コンセプト学習」（NVCS）というタスクを導入する。事前学習済みの画像キャプションモデルを、転置重み共有と新規語のベースライン確率を固定することで変更し、モデル全体を再訓練せずに新規コンセプトを効率的に学習する手法を提案する。わずか5～50枚の訓練画像で、完全再訓練に匹敵する性能を達成する。

ABSTRACT

In this paper, we address the task of learning novel visual concepts, and their interactions with other concepts, from a few images with sentence descriptions. Using linguistic context and visual features, our method is able to efficiently hypothesize the semantic meaning of new words and add them to its word dictionary so that they can be used to describe images which contain these novel concepts. Our method has an image captioning module based on m-RNN with several improvements. In particular, we propose a transposed weight sharing scheme, which not only improves performance on image captioning, but also makes the model more suitable for the novel concept learning task. We propose methods to prevent overfitting the new concepts. In addition, three novel concept datasets are constructed for this new task. In the experiments, we show that our method effectively learns novel visual concepts from a few examples without disturbing the previously learned concepts. The project page is http://www.stat.ucla.edu/~junhua.mao/projects/child_learning.html

研究の動機と目的

• 人間の子どもが語彙を学ぶのを模倣し、最小限の監視情報から深層学習モデルが新規視覚的コンセプトを迅速に学習できるようにすること。
• 従来の知識を損なうことなく、自然言語の説明とペアになったわずかな画像からのみ新規視覚的コンセプトを学ぶ課題に対処すること。
• 小さな新規コンセプトデータセットで訓練する際の過学習を回避しながら、既存のコンセプトの性能を維持する手法を開発すること。
• 「クイディッチ」や「T-レックス」のようなレアで架空のコンセプトを含む、NVCSタスクのための3つのベンチマークデータセットを構築・公開すること。
• 少数の例で事前学習モデルを微調整することで、完全再訓練の性能に匹敵または上回ることを実証すること。

提案手法

• 新規視覚的コンセプト学習のベースモデルとして、事前学習済みの画像キャプションモデル（m-RNN）を採用する。
• モデルパラメータを半分に削減する転置重み共有（TWS）スキームを導入し、過学習を防ぎつつ、より豊かな語彙表現とマルチモodal表現を可能にする。
• 小規模データセットにおける低頻度語の統計的バイアスを避けるために、学習中に新語のベースライン確率を固定する。
• 他のモデル重みを凍結したまま、新語の埋め込み表現と特定の層のみを微調整することで、従来に学習された知識を保持する。
• 2段階の訓練プロセスを採用：まず大規模データセットで事前学習し、次に文の説明付きの少量の新規コンセプト例で微調整する。
• マルチモーダル特徴量と言語的文脈を活用し、新語の意味的意味を仮説立て、モデルの語彙に統合する。

実験結果

リサーチクエスチョン

• RQ1 視覚言語モデルは、わずかな画像とその自然言語説明からのみ、新規視覚的コンセプトの意味を学習できるか？
• RQ2 従来に学習されたコンセプトを損なわず、新規コンセプトを学習するにはどうすればよいか？
• RQ3 非常に小さな新規コンセプトデータセットで訓練する際、一般化性能を向上させ、過学習を防ぐためにどのようなアーキテクチャ的変更が必要か？
• RQ4 新規コンセプト学習において、少量の例で微調整する性能は、全データセットを用いた完全再訓練の性能と比べてどうか？
• RQ5 元の学習データに存在しないが、既存のものと意味的に類似した新規コンセプトに対しても、モデルは一般化できるか？

主な発見

• 提案されたDeep-NVCSモデルは、1つの新規コンセプトあたり10～50枚の画像で学習した場合、全データセットを再訓練した場合と同等の性能を達成する。
• 1コンセプトあたり5枚の訓練画像のみで、ベースモデルより顕著な性能向上を示し、効果的な少サンプル学習を実証する。
• 「クイディッチ」や「サミセン」のようなレアで意味的に曖昧なコンセプトを含むNC-3データセットでは、fスコアが「クイディッチ」で0.854、「サミセン」で0.630を達成し、ベースモデルおよび完全再訓練を大きく上回る。
• モデル再訓練はクラスの不均衡と過学習のためNC-3で著しく性能が低いが、Deep-NVCSは固定ベースライン確率により過学習を防ぎ、強力な性能を維持する。
• 新規コンセプト（例：「クイディッチ」）の学習済み語の埋め込み表現は、意味的に意味のある近隣語（例：「サッカー」「フットボール」）を示し、モデルがマルチモーダル意味を捉えていることを確認する。
• 転置重み共有スキームにより、パラメータを50％削減し、画像キャプションと新規コンセプト学習の両方で性能が向上し、アーキテクチャの効率性を示す。