[論文レビュー] MMF: Multi-Task Multi-Structure Fusion for Hierarchical Image Classification

Xiaoni Li, Yucan Zhou+2 more|arXiv (Cornell University)|Jul 2, 2021

Advanced Image and Video Retrieval Techniques参考文献 42被引用数 6

ひとこと要約

本稿では、意味的、視覚的類似性、その他の事前知識に基づく複数の階層的ラベル構造を統合する1つのディーブラーニングフレームワークに組み込むことで、階層的画像分類の性能を向上させる、マルチタスクマルチ構造統合モデルMMFを提案する。異なるラベル構造にわたる部分クラス分類器と複数の上位クラス分類器を同時に学習することで、MMFはCIFAR100およびCar196で最先端の性能を達成し、平坦な分類法や単一構造法と比較して階層的評価指標において顕著な向上を示した。

ABSTRACT

Hierarchical classification is significant for complex tasks by providing multi-granular predictions and encouraging better mistakes. As the label structure decides its performance, many existing approaches attempt to construct an excellent label structure for promoting the classification results. In this paper, we consider that different label structures provide a variety of prior knowledge for category recognition, thus fusing them is helpful to achieve better hierarchical classification results. Furthermore, we propose a multi-task multi-structure fusion model to integrate different label structures. It contains two kinds of branches: one is the traditional classification branch to classify the common subclasses, the other is responsible for identifying the heterogeneous superclasses defined by different label structures. Besides the effect of multiple label structures, we also explore the architecture of the deep model for better hierachical classification and adjust the hierarchical evaluation metrics for multiple label structures. Experimental results on CIFAR100 and Car196 show that our method obtains significantly better results than using a flat classifier or a hierarchical classifier with any single label structure.

研究の動機と目的

• 異なるラベル構造からの複数の事前知識源を活用することで、階層的画像分類の性能を向上させること。
• 視覚的または意味的関係と一致しない可能性がある単一構造の階層モデルの限界を解消すること。
• 重複する計算を伴わずに、複数の階層的構造を効率的に統合するエンドツーエンドのディープラーニングフレームワークを設計すること。
• 階層的評価指標を、レベルごとの誤分類の深刻さをより適切に反映できるように調整すること。
• マルチ構造統合が、単一構造または平坦分類アプローチを常に上回ることを実証すること。

提案手法

• MMFモデルは二重ブランチアーキテクチャを採用する：部分クラス予測のための従来の分類ブランチ（CCB）と、異なるラベル構造に基づいて定義された上位クラスを特定する複数の上位クラス分類ブランチ（MSCBs）。
• 各MSCBは、特定のラベル構造（例：意味的、類似性に基づく、視覚的クラスタリング）から導出された類似性制約を用いて学習され、特徴表現がクラス間の関係を尊重するように制御される。
• 各ブランチからの監視信号を統合する重み付きマルチタスク損失関数が用いられ、ハイパーパrameter（λ）が各ラベル構造の制約の影響を制御する。
• バックボーンネットワーク（VGG16またはResNet50）はエンドツーエンドで微調整され、複数の類似性制約を同時に満たす階層的特徴を学習する。
• 複数のラベル構造は、同時にすべての構造で学習することで統合され、共有された特徴学習を可能にしながら、構造固有のインダクティブバイアスを保持する。
• 階層的評価指標（例：TIEa、LCAa）は、多段階の予測と誤分類の深刻さを考慮して適応されている。

実験結果

リサーチクエスチョン

• RQ1 意味的、視覚的類似性、その他の事前知識に基づく複数の階層的ラベル構造を組み合わせることで、画像分類の性能が向上するか？
• RQ2 複数の上位クラス分類器におけるマルチタスク学習は、単一構造または平坦分類と比較して、部分クラス認識をどのように向上させるか？
• RQ3 ディープラーニングフレームワークにおいて、複数のラベル構造を統合するための最適なアーキテクチャと損失重み戦略は何か？
• RQ4 複数のラベル構造が使用された際、階層的評価指標は予測の質をどのように反映するか？
• RQ5 多様なラベル構造の統合により、より意味的に意味のある誤分類（＝深刻さの低い誤分類）が生じるか？

主な発見

• CIFAR100では、結合構造（H_A&H_S）を用いたMMFがトップ1正解率79.52％を達成し、最良の単一構造法（79.51％）および平坦ベースライン（78.50％）を上回った。
• Car196では、3つの構造をすべて使用したMMF（H_A&H_T&H_M）が90.29％の正解率を達成し、最良の単一構造結果（90.19％）および平坦ベースライン（88.66％）を上回った。
• TIEaやLCAaなどの階層的指標は、トップ1正解率よりも顕著な向上を示しており、誤分類の深刻さの観点から予測が真値に近いことを示している。
• 複数構造を用いたモデル（H_A&H_T&H_M）は、Car196でTIEaが0.2468を記録し、平坦ベースライン（0.3097）よりも顕著に低く、誤分類の深刻さが軽減されていることを確認した。
• 最適なλ値は構造ごとに異なったが、一般に構造間で等価な重み付けが最も良い性能をもたらした。ただし、H_T&H_Mのような複雑なマルチ構造ケースを除いてはそうだった。
• アブレーションスタディにより、任意の1つの構造を追加することで平坦ベースラインを上回る性能が得られ、複数構造の組み合わせが最も優れた結果をもたらしたことが確認された。