[論文レビュー] Learning Hypergraph-regularized Attribute Predictors

Sheng Huang, Mohamed Elhoseiny+2 more|arXiv (Cornell University)|Mar 19, 2015

Domain Adaptation and Few-Shot Learning参考文献 3被引用数 16

ひとこと要約

本稿では、属性予測を正則化されたハイパーグラフカット問題としてモデル化することで、相関する属性予測子を同時に学習するとともに、クラスラベル情報を統合する新しいフレームワーク、ハイパーグラフベース属性予測子（HAP）を提案する。特徴空間をハイパーグラフ埋め込み空間と整合させることで、AWA、USAA、CUBのデータセットにおいてゼロショット、Nショット学習、およびフルデータ分類タスクで最先端の性能を達成した。特に、CSHAP Gバージョンはクラスレベルの監督を効果的に統合することで優れた性能を示した。

ABSTRACT

We present a novel attribute learning framework named Hypergraph-based Attribute Predictor (HAP). In HAP, a hypergraph is leveraged to depict the attribute relations in the data. Then the attribute prediction problem is casted as a regularized hypergraph cut problem in which HAP jointly learns a collection of attribute projections from the feature space to a hypergraph embedding space aligned with the attribute space. The learned projections directly act as attribute classifiers (linear and kernelized). This formulation leads to a very efficient approach. By considering our model as a multi-graph cut task, our framework can flexibly incorporate other available information, in particular class label. We apply our approach to attribute prediction, Zero-shot and $N$-shot learning tasks. The results on AWA, USAA and CUB databases demonstrate the value of our methods in comparison with the state-of-the-art approaches.

研究の動機と目的

• 属性間の相関を無視する独立した属性学習の限界を是正すること。
• ゼロショットやNショット学習などの下流タスクにおける一般化性能の向上を図るため、クラスラベル情報を属性学習に統合すること。
• 自然なデータクラスタリングを保持しつつ、属性予測子を共同で最適化できる効率的でエンドツーエンドのフレームワークを開発すること。
• 属性関係をハイパーグラフのハイパーエッジとしてモデル化することで、高次元の相関を捉え、予測性能を向上させること。
• ハイパーグラフ正則化が、複数のベンチマークで属性予測および分類精度の向上に寄与することを実証すること。

提案手法

• 各ハイパーエッジが同じ属性ラベルを持つサンプルのグループを表すように、属性予測を教師ありハイパーグラフカット問題として定式化する。
• ハイパーグラフカットの共同最適化を通じて、意味的属性空間と整合するハイパーグラフ埋め込み空間を定義する。
• 入力特徴空間からハイパーグラフ埋め込み空間へのマッピングを学習し、これにより線形またはカーネル化された属性予測子を構築する。
• ペナルティグラフまたはハイパーグラフを用いて、クラス内構造の学習をガイドするためのクラスラベル情報を統合する。
• ガウスカーネルおよびコーシーかーねるを用いて、非線形特徴空間へのモデルの拡張を実現する。
• 行列逆行列を用いて最適化問題を解き、学習の計算量はO(nmd)またはO(d³)、推論の計算量はO(d)で、高速な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーグラフカットによる属性相関のモデル化は、属性予測および下流分類性能の向上に寄与するか？
• RQ2 属性学習中にクラスラベル情報を統合することで、ゼロショットおよびNショット学習における一般化性能が向上するか？
• RQ3 提案されたHAPフレームワークは、多様なデータセットにおいて最先端手法と比較して、精度およびロバスト性の点で優れているか？
• RQ4 カーネル化されたHAPバージョンは、非線形特徴分布を示すデータセットにおいて、性能をどの程度向上させるか？
• RQ5 ゼロショット学習や分類タスクにおいて、属性相関を保持することが、それらを分散化することよりも有益であるか？

主な発見

• CUBデータセットでは、CSHAP Gバージョンを用いた近似最近傍分類器で26.1%の精度を達成し、他の手法を上回った。
• USAAデータセットでは、CSHAP Gがフルデータ分類で50.9%の精度を示し、クラスレベルの監視を統合することの有効性を実証した。
• ゼロショット学習では、ガウスカーネルにより、USAAでHAPの精度が44.1%から46.3%に向上し、CSHAP Hでは45.3%から48.2%に向上した。
• カーネル化されたHAPバージョンは、CUBデータセットの深層特徴が線形であるため、15.5–16.5%の低性能を示した。
• CUBでは312個の属性予測子を23.33秒で学習し、すべてのテストサンプルを0.14秒で予測可能であり、高い推論効率を示した。
• CSHAP Gバージョンは、クラスラベル統合によるクラス内多様体構造のより良い捉え込みにより、Nショット学習で一貫して他の手法を上回った。