[論文レビュー] Context-Aware Zero-Shot Learning for Object Recognition

Éloi Zablocki, Patrick Bordes+3 more|arXiv (Cornell University)|Apr 24, 2019

Domain Adaptation and Few-Shot Learning被引用数 16

ひとこと要約

本稿では、画像内の共起する物体から得られる視覚的文脈を確率的枠組みに統合することで、未学習クラスの物体認識を向上させる文脈に配慮したゼロショット学習（ZSL）を提案する。語彙埋め込みと専用の事前分布成分を用いて、文脈下での物体の条件付き尤度をモデル化することで、標準的なZSLに比べてターゲットドメインで22%、ソースドメインで32%の相対的改善を達成した。これは、クラス不均衡に対して頑健であり、Visual Genomeデータセットにおいて顕著な性能向上を示している。

ABSTRACT

Zero-Shot Learning (ZSL) aims at classifying unlabeled objects by leveraging auxiliary knowledge, such as semantic representations. A limitation of previous approaches is that only intrinsic properties of objects, e.g. their visual appearance, are taken into account while their context, e.g. the surrounding objects in the image, is ignored. Following the intuitive principle that objects tend to be found in certain contexts but not others, we propose a new and challenging approach, context-aware ZSL, that leverages semantic representations in a new way to model the conditional likelihood of an object to appear in a given context. Finally, through extensive experiments conducted on Visual Genome, we show that contextual information can substantially improve the standard ZSL approach and is robust to unbalanced classes.

研究の動機と目的

• 従来のZSL手法が内在的視覚特徴にのみ依存し、物体間の文脈的関係を無視するという限界を是正すること。
• シーン内での物体の共起の意味的表現が、視覚的外観のみに依存するゼロショット一般化をどのように向上させるかを検討すること。
• 視覚的、文脈的、事前分布の3つの成分を分離する確率的モデルを設計し、解釈可能性の向上とクラス不均衡への頑健性を向上させること。
• Visual Genomeのような文脈情報が豊富に記録された豊富なアノテーション付きデータセットを用いて、文脈の役割を検証すること。
• 視覚的特徴が曖昧または誤解を招く場合に、文脈情報が予測をどのように導くかを示すこと。

提案手法

• 本手法は、物体認識の確率を、視覚的尤度、文脈的尤度、および物体頻度を推定する事前分布成分の3つの成分の積としてモデル化する。
• 文脈的尤度は、テキスト知識から得られる共起する物体の語彙埋め込みを用いて、文脈下での物体の条件付き確率を推定する。
• 最終予測は視覚的、文脈的、事前分布の3成分の重み付き組み合わせとして得られる確率的枠組みを採用し、解釈可能性とクラス不均衡の処理を可能にする。
• 事前分布と文脈成分の寄与をバランスさせるための新規なサンプリング戦略を導入し、長尾分布における一般化性能を向上させる。
• 本手法は、物体のバウンディングボックスと関係性を含む豊富なシーンレベルのアノテーションを提供するVisual Genomeデータセット上で評価される。
• 語彙埋め込み（例：GloVeや類似のもの）を事前学習済みとして用い、物体クラスとその共起エントリとの間の意味的関係を表現する。

実験結果

リサーチクエスチョン

• RQ1 視覚的文脈（シーン内での共起する物体の存在）が、内在的視覚的特徴を超えてゼロショット認識性能を向上させ得るか？
• RQ2 文脈情報を組み込むことで、ZSLにおける長尾分布や不均衡データセットでのモデル性能にどのような影響を与えるか？
• RQ3 どのような状況で文脈情報が性能を低下させるのか、その有効性に影響を与える要因は何か？
• RQ4 物体関係のテキスト的意味的表現をどの程度活用して、ZSLにおける文脈的尤度をモデル化できるか？
• RQ5 事前分布、視覚的、文脈的成分の分離が、モデルの解釈可能性と頑健性をどのように向上させるか？

主な発見

• 文脈に配慮したZSLモデルは、標準的なZSLに比べてターゲットドメインで22%、ソースドメインで32%の相対的改善を達成し、顕著な性能向上を示した。
• ベースライン手法（True Prior や Visual Bayes）よりもソースドメインで優れた性能を示したが、Oracleベースラインは依然としてターゲットドメインで上回っており、より良い文脈的語彙埋め込みの開発に余地があることを示唆している。
• 視覚的特徴だけでは曖昧な「player」や「handle」、「flower」のような、文脈的に制限された物体では、文脈情報が予測を顕著に改善した。
• 「house」 や 「dirt」 のような一般的または文脈的に多様な物体では、文脈の多様性が高く、文脈情報が性能を低下させることがある。これは、文脈多様性と性能向上の相関係数 ρ = -0.31 という負の相関関係として観察された。
• 定性的な分析から、文脈成分が視覚的成分の誤りを是正できることを示した。例えば、「vase」や「grass」、「stems」といった文脈から、「flower」が視覚的特徴が不十分なために誤分類されても、文脈情報により正しく再順位付けされ、トップ予測に復帰することが可能となった。
• 事前分布と文脈成分の分離により、クラス不均衡の処理が改善された。事前分布成分は物体頻度を処理し、文脈成分は関係性の手がかりを捉える役割を果たした。