[論文レビュー] Mitigating the Hubness Problem for Zero-Shot Learning of 3D Objects

Ali Cheraghian, Shafin Rahman+2 more|arXiv (Cornell University)|Jul 15, 2019

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 21

ひとこと要約

本稿では、3次元点群認識におけるゼロショット学習（ZSL）におけるハブネス問題を軽減するための新しいスケーリングに基づく損失関数を提案する。低品質な3次元特徴量がラベルバイアスを悪化させる中、各訓練バッチ内での予測の歪度を最小化することで、ModelNet40、ModelNet10、McGill、SHREC2015で最先端の性能を達成し、3次元ビジョンにおけるZSLおよび一般化ZSLの包括的評価を初めて確立した。

ABSTRACT

The development of advanced 3D sensors has enabled many objects to be captured in the wild at a large scale, and a 3D object recognition system may therefore encounter many objects for which the system has received no training. Zero-Shot Learning (ZSL) approaches can assist such systems in recognizing previously unseen objects. Applying ZSL to 3D point cloud objects is an emerging topic in the area of 3D vision, however, a significant problem that ZSL often suffers from is the so-called hubness problem, which is when a model is biased to predict only a few particular labels for most of the test instances. We observe that this hubness problem is even more severe for 3D recognition than for 2D recognition. One reason for this is that in 2D one can use pre-trained networks trained on large datasets like ImageNet, which produces high-quality features. However, in the 3D case there are no such large-scale, labelled datasets available for pre-training which means that the extracted 3D features are of poorer quality which, in turn, exacerbates the hubness problem. In this paper, we therefore propose a loss to specifically address the hubness problem. Our proposed method is effective for both Zero-Shot and Generalized Zero-Shot Learning, and we perform extensive evaluations on the challenging datasets ModelNet40, ModelNet10, McGill and SHREC2015. A new state-of-the-art result for both zero-shot tasks in the 3D case is established.

研究の動機と目的

• 大規模な事前学習が不足するため、低品質な3次元特徴量が原因で悪化するゼロショット学習（ZSL）における深刻なハブネス問題に対処すること。
• 各訓練バッチ内での予測の歪度を低減することで、ハブネスを明示的に最小化する新しい損失関数を提案すること。
• 3次元点群分類において、従来の3次元ビジョンで未解決であった標準ZSLおよび一般化ZSL（GZSL）の両方を評価すること。
• ModelNet40、ModelNet10、McGill、SHREC2015を含む複数の3次元ベンチマークにおいて、提案手法の有効性を示すこと。
• 特徴量から意味的表現への写像が、逆方向に比べてハブネスが低減するため、より効果的であることを示すこと。

提案手法

• 本手法は、各訓練バッチ内での予測クラス頻度の歪度を計算することでハブネスを定量化する、新しい非教師あり損失 L_U を導入する。
• 訓練中にこの損失を最小化することで、モデルが少数の高頻度クラス（ハブ）を繰り返し予測する傾向を軽減する。
• 歪度は、バッチ内の学習済みクラスにおける予測分布の正規化された3次モーメントとして計算され、ハブネスの代理指標として機能する。
• 本手法は、追加の教師信号や前処理を必要とせず、エンドツーエンドの3次元点群分類器の訓練に適用可能である。
• 本手法は、推論時に見出しクラスと未見クラスの両方が存在する標準ZSLおよび一般化ZSL（GZSL）の両方と互換性がある。
• GloVeおよびw2vの単語埋め込みを用いて評価した結果、w2vが3次元点群の意味的特徴とより良好に一致することが示された。

実験結果

リサーチクエスチョン

• RQ1 3次元ゼロショット学習におけるハブネス問題はどのように現れるのか。また、2次元画像ベースのZSLと比較してなぜより深刻なのか。
• RQ2 訓練時における予測の歪度を最小化する損失関数が、3次元点群認識におけるハブネスを効果的に低減できるか。
• RQ3 提案手法は、3次元データにおける標準ZSLおよび一般化ZSL（GZSL）の両設定で有効であるか。
• RQ4 3次元ZSLにおいて、GloVeとw2vのどちらの意味的埋め込みがより優れた性能を発揮するか。その理由は何か。
• RQ5 特徴量から意味的表現への写像が、逆方向に比べてハブネスをより効果的に低減できるか。

主な発見

• GloVe埋め込みを用いた場合、提案された歪度損失はModelNet10で33.9%、McGillで12.5%、SHREC2015で6.2%という、新たな最先端性能を達成した。
• w2v埋め込みを用いた場合、ModelNet10で28.7%、McGillで11.1%、SHREC2015で4.2%の精度を達成し、先行手法を上回った。
• 特徴量から意味的表現への写像と逆方向の両設定において、歪度値の低下が確認され、ハブネスが顕著に低減された。
• 本手法は、ModelNet40、ModelNet10、McGill、SHREC2015を含む3次元点群データセットにおける一般化ゼロショット学習（GZSL）の包括的評価を初めて確立した。
• CUB 2次元画像データセットにおいても、本手法は59.4%の精度を達成し、Zhangら（2017）の先行SOTA（58.3%）を上回った。これは、本手法が3次元にとどまらず、一般化能力を有することを示している。
• w2v埋め込みが3次元ZSLでGloVeを上回る性能を発揮した。これは、点群データの幾何的意味的特徴とより良好に一致するためと推測される。