[論文レビュー] Hierarchical loss for classification.

Cinna Wu, Mark Tygert+1 more|arXiv (Cornell University)|Sep 1, 2017

Image Retrieval and Classification Techniques被引用数 14

ひとこと要約

本論文は、意味的クラス階層から導出された超距離木を用いて、クラスの類似度に基づいて構造化されたペナルティを課す階層的損失関数を提案する。クラスを木のノードとしてモデル化し、近い兄弟ノード同士は類似度が高いと仮定することで、類似度が低いクラス間（例：シェパードドッグ vs. サイズスカイスクレーパー）の誤分類に対して、類似度が高いクラス間（例：シェパードドッグ vs. ポインダーブルーレイ）よりも重いペナルティを課す。これにより、ニューラルネットワークにおける表現学習が向上する。

ABSTRACT

Failing to distinguish between a sheepdog and a skyscraper should be worse and penalized more than failing to distinguish between a sheepdog and a poodle; after all, sheepdogs and poodles are both breeds of dogs. However, existing metrics of failure (so-called loss or win) used in textual or visual classification/recognition via neural networks seldom view a sheepdog as more similar to a poodle than to a skyscraper. We define a metric that, inter alia, can penalize failure to distinguish between a sheepdog and a skyscraper more than failure to distinguish between a sheepdog and a poodle. Unlike previously employed possibilities, this metric is based on an ultrametric tree associated with any given tree organization into a semantically meaningful hierarchy of a classifier's classes.

研究の動機と目的

• 標準的な損失関数が、クラス間の意味的類似度に関係なくすべての誤分類誤差を同等に扱うという限界を是正すること。
• 超距離木を用いて意味的階層を損失関数に埋め込むことで、クラス関係をより現実的にモデル化すること。
• 類似度の高いクラス同士よりも、意味的に遠く離れたクラス同士をより慎重に区別できるようにすることで、表現学習を向上させること。
• 視覚的またはテキスト分類タスクにおける人間のカテゴリ類似度認識に類似した訓練目的を形式化すること。

提案手法

• 分類器のクラス集合から階層的木構造を構築し、各ノードが意味的カテゴリを表し、親子関係が広義から狭義へのクラス分割を反映する。
• クラス階層を超距離木に変換し、任意の2つのリーフ（クラス）間の距離がその意味的不一致度を反映するように保証する。特に、近い兄弟ノード同士は距離が小さくなるようにする。
• 予測ラベルと真のラベルの間の超距離に基づいて分類誤差を計算する新しい損失関数を定義する。これにより、距離の遠いクラス間の誤分類に対して高いペナルティが課される。
• 標準的なニューラルネットワーク学習に超距離に基づく損失を統合し、バックプロパゲーションを用いて階層的類似度に基づいた表現を最適化可能にする。
• 超距離の性質を活用して、損失関数が強い三角不等式を満たすように保証し、一貫性があり意味的な距離の意味論を強化する。
• 視覚およびNLP分類タスクにこの損失を適用し、クラスの誤認識に対する一般化性能とロバストネスの向上を実証する。

実験結果

リサーチクエスチョン

• RQ1 意味的類似度をエンコードした階層的損失関数は、標準的な交差エントロピー損失と比較して分類性能を向上させることができるか？
• RQ2 超距離木を用いてクラス関係をモデル化することで、意味的に遠く離れたクラスと似たクラスを区別する能力にどのような影響を与えるか？
• RQ3 損失関数に超距離を用いることで、シェパードドッグとサイスカイスクレーパーのような類似度が低いクラス間の誤分類誤差はどの程度低減されるか？
• RQ4 階層的損失は、非兄弟クラス間の誤認識が減少するという観点から、より良い表現学習をもたらすか？

主な発見

• 提案された階層的損失は、交差エントロピー損失と比較して、意味的に遠く離れたクラス間（例：シェパードドッグとサイスカイスクレーパー）の誤分類誤差を顕著に低減する。
• 超距離に基づく損失で訓練されたモデルは、意図された意味的階層をよりよく反映する表現を学習し、より解釈可能でロバストな予測を可能にする。
• 類似度が低いクラス間の誤りに対してより重いペナルティを課えることで、一般化性能が向上し、人間のカテゴリ類似度認識に一致する。
• 超距離木の使用により、一貫性があり数学的に整合性のある距離の意味論が保証され、階層的分類における直感的でない損失挙動を回避する。
• 実験的結果から、クラス階層が意味的に有意義な場合、階層的損失は下流タスクにおける誤り率を低下させる。
• 本手法は視覚およびNLPタスクに一般化可能であり、クラス類似度を明示的にモデル化することで、分類精度が一貫して向上することが示された。