[論文レビュー] Large-Scale Attribute-Object Compositions

Filip Radenović, Animesh A. Sinha+3 more|arXiv (Cornell University)|May 24, 2021

Graph Theory and Algorithms参考文献 61被引用数 4

ひとこと要約

本論文では、Instagramのハッシュタグをノイズのある教師信号として用いることで、大規模な属性-オブジェクト複合分類のための弱教師付き深層学習フレームワークであるCompNetを提案する。オブジェクトと属性分類器を同時に学習し、分類器空間で組み合わせることで、未観測の属性-オブジェクトペアに対しても効果的に一般化できる。これは、7800万枚の画像、7700個のオブジェクト、1200個の属性を含むYFCC100mにおいて、後処理統合ベースラインを上回り、特に希少または観測されていない組み合わせにおいて顕著な性能向上を達成する。

ABSTRACT

We study the problem of learning how to predict attribute-object compositions from images, and its generalization to unseen compositions missing from the training data. To the best of our knowledge, this is a first large-scale study of this problem, involving hundreds of thousands of compositions. We train our framework with images from Instagram using hashtags as noisy weak supervision. We make careful design choices for data collection and modeling, in order to handle noisy annotations and unseen compositions. Finally, extensive evaluations show that learning to compose classifiers outperforms late fusion of individual attribute and object predictions, especially in the case of unseen attribute-object pairs.

研究の動機と目的

• 限られたノイズの多いアノテーションからの画像における属性-オブジェクト複合分類の学習という課題に対処すること。
• 訓練データに存在しない未観測の属性-オブジェクトペアに対しても一般化できるようにすること。
• 数十万の複合分類を含む大規模で多様なデータセットへの属性-オブジェクト分類のスケーラビリティを高めること。
• 各組み合わせを明示的に学習するのではなく、特徴空間で分類器を合成するスケーラブルでエンドツーエンドのフレームワークを設計すること。
• Facebook Marketplaceのような実世界の応用において、カバレッジと一般化性能が極めて重要な文脈での評価を行うこと。

提案手法

• マルチヘッドアーキテクチャを採用し、3つの分類器ヘッド（オブジェクト、属性に依存しない属性、属性-オブジェクト）を備える。
• 複合モジュールは、分類器空間でオブジェクトと属性分類器の重みを直接組み合わせることで、未観測の組み合わせに対しても推論を可能にする。
• ノイズの多い弱教師付きハッシュタグをより効果的に扱い、トレーニング中のロバストネスを向上させるために、新規の損失関数を設計した。
• 候補選択戦略により、トレーニングおよび推論時に考慮する属性-オブジェクトペアの数を削減し、効率性と一般化性能を向上させた。
• 7800万枚の画像を含むYFCC100mから得たハッシュタグを弱教師ラベルとして用い、視覚的に関連性があり、共有可能で解釈可能な属性を半自動で選択するハッシュタグ工学的手法を実施してモデルをトレーニングした。
• 実装の観点では、推論時にフルなMLPを使用せず、代わりに上位k個の複合スコアのみを保存することで、ストレージと計算コストを削減した。

実験結果

リサーチクエスチョン

• RQ1 大規模データセット上で、ノイズの多い弱教師付きハッシュタグから、深層学習モデルが属性-オブジェクト複合分類を効果的に学習できるか？
• RQ2 このようなモデルは、トレーニング時に観測されていなかった属性-オブジェクトペアに対しても、どの程度一般化できるか？
• RQ3 個別の属性とオブジェクト予測の後処理統合よりも、エンドツーエンドの分類器複合が優れているか？
• RQ4 ノイズの多いラベルや欠損アノテーションの存在下でも、複合モジュールのロバスト性を確保するためにはどのような設計選択が必要か？
• RQ5 Facebook Marketplaceのような実世界のシステムに、スケーラブルな属性フィルタリングとランク付けのために効果的に導入できるか？

主な発見

• 提案されたCompNetフレームワークは、特に未観測の属性-オブジェクト複合分類において、後処理統合ベースラインを顕著に上回るゼロショット一般化性能を示した。
• 分類器空間での複合化メカニズムにより、属性とオブジェクト間のインダクティブバイアスが得られ、希少または観測されていない組み合わせに対しても効果的な一般化が可能となった。
• 7800万枚の画像、7,694個のオブジェクト、1,237個の属性、28万の複合分類を含むYFCC100mにおける広範な評価により、観測済みおよび未観測の両ケースで優れた性能が得られた。
• フレームワークは、Facebook Marketplaceにおける属性フィルタリングとフィードランク付けに実装可能であり、再トレーニングや新たなアノテーションなしに、未観測のカテゴリに対して新しい属性を合成可能となった。
• 候補選択戦略を採用し、上位k個の複合スコアのみを保存することで、ストレージと推論コストを削減しながらも、高いカバレッジと性能を維持した。
• 本手法は、実世界の環境においてスケーラビリティとロバストネスを示し、商業およびリtrieval応用分野への広範な導入の可能性を示した。