[論文レビュー] Commonly Uncommon: Semantic Sparsity in Situation Recognition

Mark Yatskar, Vicente Ordóñez+2 more|arXiv (Cornell University)|Dec 3, 2016

Multimodal Machine Learning Applications参考文献 39被引用数 5

ひとこと要約

本稿は、状況認識における意味的スパarsityを解消するために、名詞役割の組み合わせ間で表現を共有する新しいテンソル構成関数を備えた構成的CRFを導入し、検索クエリを用いたウェブベースの意味的データ拡張技術を提案することで、希少な出力予測を向上させる。組み合わせた手法は、トップ5の動詞精度および名詞役割精度において、それぞれ6.23%および9.57%の相対的改善を達成し、希少かつ未学習の設定において、最先端のベースラインを著しく上回る性能を発揮する。

ABSTRACT

Semantic sparsity is a common challenge in structured visual classification problems; when the output space is complex, the vast majority of the possible predictions are rarely, if ever, seen in the training set. This paper studies semantic sparsity in situation recognition, the task of producing structured summaries of what is happening in images, including activities, objects and the roles objects play within the activity. For this problem, we find empirically that most object-role combinations are rare, and current state-of-the-art models significantly underperform in this sparse data regime. We avoid many such errors by (1) introducing a novel tensor composition function that learns to share examples across role-noun combinations and (2) semantically augmenting our training data with automatically gathered examples of rarely observed outputs using web data. When integrated within a complete CRF-based structured prediction model, the tensor-based approach outperforms existing state of the art by a relative improvement of 2.11% and 4.40% on top-5 verb and noun-role accuracy, respectively. Adding 5 million images with our semantic augmentation techniques gives further relative improvements of 6.23% and 9.57% on top-5 verb and noun-role accuracy.

研究の動機と目的

• 訓練データにおいてほとんどが希少または未学習の名詞役割の組み合わせである状況認識における意味的スパarsityを解消すること。
• 構造化視覚分類における希少およびOoV（語彙外）予測の性能を向上させること。
• 低次元埋め込みを用いて名詞役割の組み合わせ間で表現を共有する構成的CRFモデルを開発すること。
• 希少な出力のための合成学習例を生成するために、ウェブ検索クエリを用いた意味的データ拡張戦略を導入すること。
• 構成的モデリングとウェブベースのデータ拡張を組み合わせることで、希少予測において顕著な向上が得られることを示すこと。

提案手法

• 名詞と役割の低次元埋め込みを統合する新しいテンソル構成関数を提案し、CRF要因のための共有でグローバルにパrameter化されたスコアを生成する。
• 画像レベル特徴を予測する深層ニューラルネットワークを用い、その特徴をテンソル関数を介して同時にすべての名詞役割の組み合わせのスコア付けに組み合わせる。
• 短い検索クエリ（例："man carrying baby"）を生成し、希少な名詞役割ペアのためのウェブ画像を取得することで、意味的データ拡張を実施する。
• マージナル尤度最適化を用いて、未ラベルの意味的側面のソフトクラスタリングを可能にするために、取得した画像を事前学習に統合する。
• モデルの予測結果を用いて高信頼度のウェブ由来例をフィルタリングし、再学習する自己学習を適用する。
• 構成的CRFと意味的拡張を統合した、条件付きランダムフィールドを用いた完全な構造的予測パイプラインを構築する。

実験結果

リサーチクエスチョン

• RQ1 名詞役割の組み合わせ間で表現を共有する構成的CRFモデルは、希少な状況認識出力の性能向上に寄与するか？
• RQ2 ウェブベースの意味的データ拡張は、未学習またはリソースが限られた名詞役割の組み合わせへの一般化をどの程度向上させるか？
• RQ3 提案された要素（構成的モデリングと意味的拡張）は、希少予測における性能低下をどのように緩和するか？
• RQ4 テンソル構成とウェブ拡張データの組み合わせは、学習データの異なる頻度帯において一貫した向上をもたらすか？
• RQ5 訓練時に観測されなかったゼロショットまたはフェイントショットの名詞役割の組み合わせに対しても、モデルは効果的に一般化できるか？

主な発見

• 提案されたテンソル構成を備えた構成的CRFは、imSitu開発セットにおいて、ベースラインCRFに比べてトップ5動詞精度が2.11%向上し、トップ5名詞役割精度が4.40%向上した。
• 500万枚のウェブ画像を用いた意味的データ拡張により、トップ5動詞精度で6.23%、トップ5名詞役割精度で9.57%の相対的改善が得られた。
• 統合モデルは、すべてのメトリクスにおいて、訓練例が10個未満の希少予測について平均で8.76%の相対的改善を達成した。
• 最大の性能向上は、訓練例が5〜35個の範囲で観察され、これは低頻度だが極めて希少でないケースにおいて顕著な利点を示している。
• モデルは希少な設定においてベースラインを著しく上回り、特に5〜35例の範囲で最大の向上が観察され、低リソース出力への一般化が有効に機能していることが示された。
• 全imSituテストセットにおいて、最終モデルは強力な性能を維持しており、すべての評価メトリクスで一貫した向上が得られ、特に希少かつ未学習の名詞役割ペアにおいて顕著な改善が見られた。