[論文レビュー] Learning with Hierarchical Complement Objective

Haoyun Chen, Li-Huang Tsai+5 more|arXiv (Cornell University)|Nov 17, 2019

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 4

ひとこと要約

本論文は、視覚タスクにおけるラベル階層を統合することで、正例クラスの確率を最大化するとともに、階層的に誤りクラスを中和する、新しいトレーニング目的である階層的補完的目的学習（HCOT）を提案する。HCOTは、CIFAR-100、ImageNet-2012、PASCAL-Contextにおいて交差エントロピーとCOTを上回り、画像分類およびセマンティックセグメンテーションの両分野で最先端の性能を達成した。

ABSTRACT

Label hierarchies widely exist in many vision-related problems, ranging from explicit label hierarchies existed in image classification to latent label hierarchies existed in semantic segmentation. Nevertheless, state-of-the-art methods often deploy cross-entropy loss that implicitly assumes class labels to be exclusive and thus independence from each other. Motivated by the fact that classes from the same parental category usually share certain similarity, we design a new training diagram called Hierarchical Complement Objective Training (HCOT) that leverages the information from label hierarchy. HCOT maximizes the probability of the ground truth class, and at the same time, neutralizes the probabilities of rest of the classes in a hierarchical fashion, making the model take advantage of the label hierarchy explicitly. The proposed HCOT is evaluated on both image classification and semantic segmentation tasks. Experimental results confirm that HCOT outperforms state-of-the-art models in CIFAR-100, ImageNet-2012, and PASCAL-Context. The study further demonstrates that HCOT can be applied on tasks with latent label hierarchies, which is a common characteristic in many machine learning tasks.

研究の動機と目的

• 交差エントロピー損失が階層的ラベル構造をモデル化する際の限界、すなわちクラス間の独立性を仮定することを是正する。
• 特に明示的または隠れた階層構造を有するタスクにおいて、トレーニング中にラベル階層を明示的に組み込むことで、モデルの一般化性能を向上させること。
• 正例クラスからの階層的距離に応じて、誤りクラスに対するペナルティを課すトレーニング目的の設計。
• HCOTの有効性を、画像分類およびセマンティックセグメンテーションを含む多様なビジョンタスクにおいて示すこと。
• ラベル階層の明示的アノテーションが不要な、たとえばセマンティックセグメンテーションのようなタスクにおいても、HCOTが潜在的ラベル階層を効果的に活用できることを示すこと。

提案手法

• HCOTは、細分化レベルおよび粗分化レベルの両カテゴリで補完学習を適用する新しい補完的目的、すなわち階層的補完エントロピーを導入する。
• 本手法は、正例クラスの予測確率を最大化するとともに、階層的な方法で誤りクラスの確率を中和する。
• 正例クラスと同じ粗分化カテゴリに属するクラスは、ラベル階層の異なるブランチにあるクラスよりもペナルティが小さくなる。
• 主な交差エントロピー損失と階層的補完エントロピー損失を組み合わせたトレーニング目的を採用し、最小限の計算コストで同時に最適化可能である。
• アーキテクチャの変更なしに、分類およびセグメンテーションモデルの両方でエンドツーエンドに適用可能である。
• HCOTは、CIFAR-100、ImageNet-2012、PASCAL-Contextにおいて、トップ1精度、mIoU、ピクセル精度といった標準指標を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 明示的にラベル階層をモデル化するトレーニング目的が、階層的ラベルを有する画像分類タスクの性能向上に寄与するか？
• RQ2 標準ベンチマークにおいて、HCOTは交差エントロピーとCOTと比較して、精度とロバスト性の面で優れているか？
• RQ3 ラベル階層の明示的アノテーションが存在しないタスク、たとえばセマンティックセグメンテーションにおいても、HCOTは潜在的ラベル階層を効果的に活用できるか？
• RQ4 正例クラスからの階層的距離に応じたペナルティ（階層的ペナルティ）が、より良い一般化性能とより構造的な予測をもたらすか？
• RQ5 HCOTは、アーキテクチャの変更なしに、最先端のモデルやトレーニングパイプラインと互換性を持つか？

主な発見

• PreアクティベーションResNet-18を用いたCIFAR-100では、HCOTがトップ1精度88.4%を達成し、交差エントロピー（87.1%）とCOT（87.8%）を上回った。
• ImageNet-2012では、ResNet-50を用いて交差エントロピー比0.6%、COT比0.4%のトップ1精度向上を達成した。
• PASCAL-Contextでは、EncNetを用いた場合にmIoUが49.86%、EncNet+JPUを用いた場合に51.35%を達成し、両設定で交差エントロピーとCOTを上回った。
• 可視化結果から、HCOTが生成するセグメンテーションマップは、交差エントロピーとCOTと比較して、断片的でなく、ノイズアーチファクトが少ないことが示された。
• 複数のバックボーンアーキテクチャおよびトレーニング戦略において、HCOTの性能向上は一貫しており、広範な適用可能性を示した。
• HCOTは、ラベル空間における階層的関係をモデル化することで、予測の信頼性を向上させるとともに、真のデータ分布との整合性を高められることを示した。