[論文レビュー] A hierarchical loss and its problems when classifying non-hierarchically

Cinna Wu, Mark Tygert+1 more|arXiv (Cornell University)|Sep 1, 2017

Image Retrieval and Classification Techniques参考文献 16被引用数 8

ひとこと要約

本稿では、分類の意味的類似性（例：ヤギとサルの類似性）を反映した階層的損失関数を提案する。この損失関数は、意味的に遠く離れたクラス（例：シープドッグと高層ビル）の誤分類に対して、類似したクラス（例：シープドッグとポメラニアン）の誤分類よりも重みを大きく付ける。階層的損失は、分類器の性能評価に優れた指標であるが、ランダム初期化で標準的勾配降下法を用いた学習では、効果的に最小化されにくく、理論的根拠は強いものの最適化目的としての有用性が制限される。

ABSTRACT

Failing to distinguish between a sheepdog and a skyscraper should be worse and penalized more than failing to distinguish between a sheepdog and a poodle; after all, sheepdogs and poodles are both breeds of dogs. However, existing metrics of failure (so-called "loss" or "win") used in textual or visual classification/recognition via neural networks seldom leverage a-priori information, such as a sheepdog being more similar to a poodle than to a skyscraper. We define a metric that, inter alia, can penalize failure to distinguish between a sheepdog and a skyscraper more than failure to distinguish between a sheepdog and a poodle. Unlike previously employed possibilities, this metric is based on an ultrametric tree associated with any given tree organization into a semantically meaningful hierarchy of a classifier's classes. An ultrametric tree is a tree with a so-called ultrametric distance metric such that all leaves are at the same distance from the root. Unfortunately, extensive numerical experiments indicate that the standard practice of training neural networks via stochastic gradient descent with random starting points often drives down the hierarchical loss nearly as much when minimizing the standard cross-entropy loss as when trying to minimize the hierarchical loss directly. Thus, this hierarchical loss is unreliable as an objective for plain, randomly started stochastic gradient descent to minimize; the main value of the hierarchical loss may be merely as a meaningful metric of success of a classifier.

研究の動機と目的

• ニューラルネットワーク分類における標準的なクロスエントロピー損失が、クラス間の意味的類似性を考慮しないという限界を是正すること。
• 分類クラス間の事前知識に基づく意味的関係（例：分類学的階層）を反映した階層的損失関数の開発。
• この階層的損失を最適化することで、特にデータ量が少ない状況下でも分類性能が向上するかの評価。
• 標準的勾配降下法とランダム初期化のもとで、階層的損失を最適化目的として用いることが可能かどうかの検討。
• 標準指標よりも、分類器の成功度をより意味的に適切に反映する指標として階層的損失が有効かどうかの検証。

提案手法

• 本手法は、木構造の分類階層における真のクラスのリーフからルートまでのパスに沿ったノード確率の重み付き和として、階層的勝利（hierarchical win）を定義する。
• 階層的損失は、この階層的勝利の負の対数として定式化され、最適化に適した微分可能関数となる。
• 木構造は、すべてのリーフがルートから等距離に位置するように制約され、超距離木としての性質を満たす。これにより、一貫した意味的距離の測定が保証される。
• ノード確率は、各ノード以下のリーフ確率の合計として計算され、予測の階層的集約が可能になる。
• 本手法は、RCV1-v2、Yahoo Answers、DBpedia、LSHTC1など、事前に定義されたクラス階層を持つ複数のデータセットに適用された。
• ハイパーパramータの最適化は、グリッドサーチを用いて学習率とエポック数を調整し、標準的勾配降下法と誤差逆伝播法を用いて学習が実施された。

実験結果

リサーチクエスチョン

• RQ1 階層的損失を最適化することで、特にデータ量が少ない状況下でも、標準的クロスエントロピー損失に比べて分類精度が向上するか？
• RQ2 ランダム初期化のもとで、標準的勾配降下法が階層的損失を効果的に最小化できるか？
• RQ3 粗いレベルの分類を直接最適化するのと比較して、階層的損失の性能はいかがなものか？
• RQ4 最適化性能に依存せず、階層的損失がどれほど意味的意義のある成功指標として機能するか？
• RQ5 異なるデータセットや階層構造において、階層的損失が結果を改善する要因は何か？

主な発見

• 階層的損失を最適化することで、粗いレベルの分類精度が、直接粗いレベルの精度を最適化するのとほぼ同等に向上した（表5参照）。
• 一部のデータセット（例：表2）では、階層的損失を用いた学習がクロスエントロピーに比べて全指標で性能向上を示したが、他のデータセット（例：表1）では逆に劣った。
• 表3および表4では、階層的損失に顕著な改善効果が認められず、データセットごとの恩恵が一貫しないことが示された。
• 表6では、階層的損失がほとんどの指標で性能を低下させたが、依然として直接粗いレベル最適化と同等の粗い精度向上を達成した。
• 理論的優位性は持つものの、標準的SGDとランダム初期化のもとでは、階層的損失は最適化目的としてほとんど効果がなかった。これは、局所最適解に陥りやすい可能性を示唆している。
• 階層的損失は、最適化のターゲットとして不十分でも、意味的感度に優れるため、分類器の性能評価指標として貴重な存在である。