[論文レビュー] Less is more: zero-shot learning from online textual documents with noise suppression

Ruizhi Qiao, Lingqiao Liu+2 more|arXiv (Cornell University)|Apr 5, 2016

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 9

ひとこと要約

本論文は、Wikipediaエントリなどのオンラインテキストドキュメントに含まれるノイズを抑えるために$l_{2,1}$-ノルムに基づく手法を提案する。この手法は、テキストと視覚的特徴の間の頑健なマッピングを学習しつつ、不要な語を抑圧する。 jointly なノイズ抑制とクロスモodal埋め込みの学習により、大規模なベンチマークで最先端の性能を達成し、効果的なテキストベースのゼロショット学習においてノイズ抑制が極めて重要であることを示している。

ABSTRACT

Classifying a visual concept merely from its associated online textual source, such as a Wikipedia article, is an attractive research topic in zero-shot learning because it alleviates the burden of manually collecting semantic attributes. Several recent works have pursued this approach by exploring various ways of connecting the visual and text domains. This paper revisits this idea by stepping further to consider one important factor: the textual representation is usually too noisy for the zero-shot learning application. This consideration motivates us to design a simple-but-effective zero-shot learning method capable of suppressing noise in the text. More specifically, we propose an $l_{2,1}$-norm based objective function which can simultaneously suppress the noisy signal in the text and learn a function to match the text document and visual features. We also develop an optimization algorithm to efficiently solve the resulting problem. By conducting experiments on two large datasets, we demonstrate that the proposed method significantly outperforms the competing methods which rely on online information sources but without explicit noise suppression. We further make an in-depth analysis of the proposed method and provide insight as to what kind of information in documents is useful for zero-shot learning.

研究の動機と目的

• オンラインドキュメントにおけるテキストノイズという、重要なが軽視されがちな問題に取り組むこと。
• 不要な語の抑圧と、テキストと視覚的特徴の間のクロスモダリティ関数の学習を同時に実現する手法を開発すること。
• 手動での属性アノテーションなしに、ノイズの多いオンラインテキストソースを活用してゼロショット学習の性能を向上させること。
• ドキュメント表現におけるどの種類の語がゼロショット分類に最も有用であるかを分析すること。

提案手法

• テキスト表現におけるノイズの多い次元を抑圧するために、$l_{2,1}$-ノルムを用いた共同最適化問題を定式化する。
• テキストと視覚的特徴を共通の埋め込み空間にマップする共通関数を統合する。
• 非凸的かつ非滑らかな$l_{2,1}$-ベースの目的関数を効率的に解く最適化アルゴリズムを設計する。
• Wikipediaからのbag-of-words表現を用いて、大規模ゼロショット学習ベンチマークにこの手法を適用する。
• クラス間で平均化された重要度重みを用いて、ノイズ除去後の表現における重要な判別的語を特定・分析する。
• 未学習クラスラベルを学習されたテキスト-視覚アライメントを通じて予測する多クラス分類フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 自動テキストソースを用いた場合、オンラインドキュメントにおけるテキストノイズがゼロショット学習性能にどのように影響を与えるか？
• RQ2 $l_{2,1}$-ノルムに基づく目的関数は、テキスト表現における不要語を効果的に抑圧しつつ、判別的信号を保持できるか？
• RQ3 ドキュメント表現におけるどの種類の語がゼロショット分類に意味的に寄与しており、ノイズや情報のない語とはどのように異なるか？
• RQ4 オンラインテキストに依存するが明示的なノイズ抑制を行わない従来のゼロショット学習手法と比較して、本手法はどのように差をつけるか？

主な発見

• ノイズ抑制を実装しない他のオンラインテキストソースを用いる手法と比較して、提案手法は顕著に優れた性能を示し、ノイズ制御の重要性を裏付けている。
• テキストノイズはゼロショット学習性能に顕著な悪影響を及ぼしており、ノイズ抑制を行わない手法は一貫して本手法に劣る。
• ノイズ抑制機構は不要な次元を完全に削除するのではなく、その影響を低減する。これにより、テキスト表現内に存在する微細だが集団的に有用なパターンを保持する。
• 3種類の語が有用であることが判明した：属性に似た記述語、キーワードと同時に出現する弱い関連語、および関連カテゴリ全体で一貫した分布的パターンを示す情報のない語。
• 「belong」や「general」といった語は、複数の動物クラスにおいて高い重要度重みが割り当てられており、ドキュメントソースのデータセットバイアスを示唆しているが、集約的に使用することで判別力に寄与している。
• 本手法は2つの大規模ゼロショット学習ベンチマークで最先端の性能を達成しており、実世界の自動ゼロショット学習シナリオにおける有効性を検証している。