[論文レビュー] Learning Conditional Attributes for Compositional Zero-Shot Learning

Qingsheng Wang, Lingqiao Liu+5 more|arXiv (Cornell University)|May 29, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、認識された物体と入力画像に条件付けられた属性埋め込みを学習することで、異なる物体間での属性多様性に対処するための条件付き属性ネットワーク（CANet）を提案する。属性ハイパーラーナーとベースラーナーを導入することで、柔軟で文脈に適した属性表現を生成し、C-GQAを含むCZSLベンチマークで最先端の性能を達成する。

ABSTRACT

Compositional Zero-Shot Learning (CZSL) aims to train models to recognize novel compositional concepts based on learned concepts such as attribute-object combinations. One of the challenges is to model attributes interacted with different objects, e.g., the attribute ``wet" in ``wet apple" and ``wet cat" is different. As a solution, we provide analysis and argue that attributes are conditioned on the recognized object and input image and explore learning conditional attribute embeddings by a proposed attribute learning framework containing an attribute hyper learner and an attribute base learner. By encoding conditional attributes, our model enables to generate flexible attribute embeddings for generalization from seen to unseen compositions. Experiments on CZSL benchmarks, including the more challenging C-GQA dataset, demonstrate better performances compared with other state-of-the-art approaches and validate the importance of learning conditional attributes. Code is available at https://github.com/wqshmzh/CANet-CZSL

研究の動機と目的

• コンポジショナルゼロショット学習における属性多様性の課題に対処する。具体的には、同じ属性（例：'wet'）が異なる物体（例：'wet apple' 対 'wet cat'）と組み合わさると異なるように見えること。
• 認識された物体と入力画像の特徴に基づいて、属性と物体の文脈的関係をモデル化する。
• 静的で物体に依存しない表現ではなく、動的で文脈依存の属性埋め込みを学習することで、未観測の属性-オブジェクト組み合わせへの一般化を向上させる。
• 標準的なCZSLベンチマーク（C-GQAを含む）における広範な実験とアブレーションスタディを通じて、条件付き属性学習の有効性を検証する。

提案手法

• 属性とオブジェクト認識の同時確率を、入力画像、オブジェクト埋め込み、視覚的特徴に条件付けられた成分に分解することで、条件付き属性学習の必要性を正当化する。
• 認識されたオブジェクトと入力画像の視覚的埋め込みからの事前知識に基づき、属性ハイパーラーナーが属性ベースラーナーのパラメータを生成する。
• 属性ベースラーナーは、ハイパーウェーブネットの出力を用いて、固定された属性単語埋め込みを現在のオブジェクトと画像の文脈に適した条件付き属性埋め込みに変換する。
• 条件付き属性埋め込みを用いて、入力画像の埋め込みとすべての条件付き属性埋め込み間のコサイン類似度により分類スコアを計算する。
• 属性とオブジェクトの単語埋め込みを合成し、射影された画像特徴と類似度を計算することで、組み合わせの予測を実施し、文脈に適した分類を強化する。
• 属性分類、オブジェクト分類、組み合わせ分類のヘッドを統合する重み付き損失関数を採用し、ハイパーパrameter α で各コンポonentの寄与度を調整する。

Figure 1 : The diagram of our work. We aim to learn conditional attributes conditioned on the recognized object and input image through an attribute learning framework containing an attribute hyper learner and an attribute base learner. We first recognize the object in the input image. Then, we feed

実験結果

リサーチクエスチョン

• RQ1 認識されたオブジェクトと入力画像に条件付けられた属性をモデル化することで、コンポジショナルゼロショット学習における一般化性能が向上するか？
• RQ2 従来の静的属性埋め込み手法と比較して、条件付き属性学習フレームワークはゼロショット一般化性能においてどのように差をつけるか？
• RQ3 属性ハイパーネットに画像の視覚的特徴を組み込むことで、モデルの一般化性能とロバストネスにどのような影響を与えるか？
• RQ4 提案フレームワークの異なるコンポーネント（例：ハイパーウェーブネット、ベースラーナー、合成埋め込み）は、既知および未知の組み合わせにおける性能にどのように寄与するか？
• RQ5 損失関数における重み係数 α によって、属性・オブジェクト・組み合わせ分類の間で達成される最適なトレードオフは何か？

主な発見

• CANet は C-GQA ベンチマークで最先端の性能を達成し、既存手法と比較して未観測の属性-オブジェクト組み合わせへの一般化性能が優れていることを示した。
• アブレーションスタディの結果、属性ハイパーラーナーまたは画像の視覚的埋め込みを条件付けから削除すると性能が著しく低下し、文脈に適した属性学習の重要性が確認された。
• 損失関数における最適な重み係数 α は、UT-Zappos50K で 0.5、MIT-States で 0.1、C-GQA で 0.3 であった。これは、属性とオブジェクトの文脈的関係をモデル化することが、分離された分類よりも有益であることを示している。
• 条件付き属性埋め込みを用いることで、未観測の組み合わせに対する一般化性能が向上し、各データセットの最適値に α を設定した場合に最高の未観測精度が達成された。
• バリアント（3）〜（6）のアブレーションにより、G、H、P、および β 内の x を含む、すべてのコンponentsを備えた完全なフレームワークが最適なパフォーマンスを発揮することが確認され、特に複雑で長尾分布を示す属性分布に対処する上で重要であることがわかった。

Figure 2 : Structure of our proposed CANet. The symbol $\bigoplus$ is channel-wise concatenation. The mapping networks $\mathcal{\omega}_{o}$ , $\mathcal{\omega}_{a}$ , and $\mathcal{\omega}_{c}$ map the input image embedding $\boldsymbol{\mathrm{x}}$ into object, attribute, and composition spaces $