[論文レビュー] Open Vocabulary Scene Parsing

Hang Zhao, Xavier Puig+3 more|arXiv (Cornell University)|Mar 26, 2017

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、固定されたトレーニングセットを超えた大規模でオープンエンドドなオブジェクトカテゴリの語彙を用いてシーンセグメンテーションを可能にする、新しいタスクであるオープンボキャブラリー・シーンパーシングを紹介する。著者らは、ワードネットなどの知識グラフに由来する階層的意味的関係（例：ワードネットにおける上位下位関係）を保持する、画像ピクセルと語の概念を統合した埋め込みフレームワークを提案する。これにより、ゼロショット一般化、概念の検索、概念の算術的合成が可能となり、解釈可能で構造的な予測を実現。ADE20Kデータセットにおいて優れた性能を達成した。

ABSTRACT

Recognizing arbitrary objects in the wild has been a challenging problem due to the limitations of existing classification models and datasets. In this paper, we propose a new task that aims at parsing scenes with a large and open vocabulary, and several evaluation metrics are explored for this problem. Our proposed approach to this problem is a joint image pixel and word concept embeddings framework, where word concepts are connected by semantic relations. We validate the open vocabulary prediction ability of our framework on ADE20K dataset which covers a wide variety of scenes and objects. We further explore the trained joint embedding space to show its interpretability.

研究の動機と目的

• トレーニング時に見られなかったオブジェクトカテゴリへの一般化ができない固定語彙のシーンパーシングモデルの限界を解消すること。
• トレーニング時に見られなかったオブジェクト概念を含む、大規模でオープンエンドドな語彙によるシーンパーシングを可能にすること。
• 意味的階層（例：上位語／下位語関係）を統合された埋め込み空間に保持する統一フレームワークの開発。
• 概念の検索、境界の緩和、算術演算による概念合成を通じて、学習済み埋め込み空間の解釈可能性を検証すること。
• 固有のクラスの曖昧性を有するオープンエンドドな認識タスクに適した評価指標の確立。

提案手法

• 画像ピクセル特徴量と知識グラフ（例：ワードネット）からの語の概念を、共通の高次元ベクトル空間に統合的に埋め込むための深層ニューラルネットワークを学習する。
• マージンに基づく損失関数を用いて、埋め込み空間内での上位語／下位語関係を最適化することで、意味的階層の保持を強制する。
• 情報量に基づくクラス頻度の補正を施した重み付きクロスエントロピー損失を用い、頻度の高いカテゴリへのバイアスを低減する。
• 葉ノードだけでなく、ワードネットの階層内の中間ノードに対しても予測を許容することで、ゼロショット予測を可能にする。
• 埋め込み空間内での算術演算（例：min/max）を用いて、概念の検索、境界の緩和、概念合成を実行する。
• ADE20Kデータセットを用いてトレーニングおよび評価を行い、豊富なシーンアノテーションと多様なオブジェクトカテゴリを活用する。

実験結果

リサーチクエスチョン

• RQ1 知識グラフからの意味的知識のみを用いて、トレーニング時に見られなかったオブジェクトカテゴリへの一般化が可能なシーンパーシングモデルは構築可能か？
• RQ2 統合された画像・概念埋め込み空間は、上位語／下位語関係などの階層的意味的関係をどの程度正確に保持できるか？
• RQ3 学習済み埋め込み空間は、概念の検索や概念の算術的合成といった解釈可能な操作をどの程度サポートできるか？
• RQ4 オープンボキャブラリー・パーシングにおいて、強固なゼロショット一般化を達成するために必要な最小のトレーニングクラス数はどの程度か？
• RQ5 異なる評価指標は、曖昧または階層的なラベルを有するオープンエンドド認識システムの性能をどの程度適切に反映するか？

主な発見

• 提案されたJoint-Hyperモデルは、強力なゼロショット一般化性能を達成しており、500クラス以上のトレーニングで性能が飽和することから、それ以上のスケールでは利得が著しく低下することが示された。
• モデルはピクセルレベルでの概念検索を効果的に行い、より抽象度の高い概念（例：「家具」や「物体」）は、Word2Vecベースのベースラインよりも高いリcallを達成した。
• 埋め込み空間は「座れる性質（sittability）」のような抽象的属性を暗黙的にエンコードしており、たとえ「椅子」と明示的にラベル付けされていなくても、ベンチやオットマンのような座れる領域を検出可能であった。
• 埋め込み空間内での算術演算により意味的で意味のある概念合成が可能である：max演算は共通の下位語（例：「プールテーブル」は「テーブル」と「ゲーム機器」の共通部分）を抽出し、min演算は結合的意味の概念（例：「カート」は「自転車」と「カーテン」の融合的意味）を抽出する。
• モデルは、トレーニングに含まれなかったカテゴリに対しても妥当で構造的な予測を生成することができた—例：「自転車」がトレーニングに含まれていなかったが、「車両（vehicle）」として予測した—人間の一般化に類似した性能を示した。
• 階層的構造のおかげで、分野知識の異なる作業者による不一致なアノテーションに対しても、モデルは頑健であることが示された。