[論文レビュー] Deep Learning with a Rethinking Structure for Multi-label Classification

Yao-Yuan Yang, Yi-An Lin+2 more|arXiv (Cornell University)|Feb 5, 2018

Text and Document Classification Technologies参考文献 26被引用数 26

ひとこと要約

本稿では、再考プロセスを通じて段階的に予測を改善するメモリ構造を備えた再帰ニューラルネットワーク（RNN）を活用し、ラベル相関を効果的にモデル化する、マルチラベル分類のための新しい深層学習フレームワーク、RethinkNetを提案する。この手法は、任意のコストセンシティブな評価指標と組み合わせてエンドツーエンド学習が可能であり、画像タグ付けタスクを含む多様なデータセットで最先端の性能を達成する。

ABSTRACT

Multi-label classification (MLC) is an important class of machine learning problems that come with a wide spectrum of applications, each demanding a possibly different evaluation criterion. When solving the MLC problems, we generally expect the learning algorithm to take the hidden correlation of the labels into account to improve the prediction performance. Extracting the hidden correlation is generally a challenging task. In this work, we propose a novel deep learning framework to better extract the hidden correlation with the help of the memory structure within recurrent neural networks. The memory stores the temporary guesses on the labels and effectively allows the framework to rethink about the goodness and correlation of the guesses before making the final prediction. Furthermore, the rethinking process makes it easy to adapt to different evaluation criteria to match real-world application needs. In particular, the framework can be trained in an end-to-end style with respect to any given MLC evaluation criteria. The end-to-end design can be seamlessly combined with other deep learning techniques to conquer challenging MLC problems like image tagging. Experimental results across many real-world data sets justify that the rethinking framework indeed improves MLC performance across different evaluation criteria and leads to superior performance over state-of-the-art MLC algorithms.

研究の動機と目的

• 画像タグ付けや感情認識などの実世界の応用において重要なラベル相関の課題に対処すること。
• 分類器チェーンやRNNベースのチェーンのような順序付き予測モデルに内在するラベル順序バイアスを克服すること。
• メモリ拡張による再考メカニズムを介して予測を反復的に精緻化する深層学習フレームワークを設計すること。
• 実世界の応用ニーズに適合する任意のコストセンシティブな評価基準と組み合わせたエンドツーエンド学習を可能にすること。
• 従来の最先端手法と比較して、一般および画像ベースのマルチラベル分類データセットにおいて優れた性能を達成すること。

提案手法

• RethinkNetは、RNNとしてモデル化されたラベル分類器の系列を用い、隠れ状態をメモリとして機能させ、複数の再考ステップにわたり一時的なラベル予測を格納・更新する。
• RNNは入力を複数のタイムステップにわたり処理し、直前のステップで得られた蓄積された知識に基づいて段階的に予測を精緻化する。
• メモリ機構は、中間予測を格納・更新することでラベル相関を捉え、人間の再考に類似したプロセスを実現する。
• 任意の微分可能なコストセンシティブ損失関数と組み合わせたエンドツーエンド学習をサポートし、F1、ランクリスク、ハミング損失などの多様な評価指標に適応可能である。
• GRU、LSTM、SRN、IRNNなどの異なるRNNバージョンを評価し、メモリアーキテクチャの性能への影響を分析する。
• 画像タグ付けのための深層学習バックボーン（例：CNN）と統合し、視覚的特徴と共同で学習可能である。

実験結果

リサーチクエスチョン

• RQ1 RNNにおけるメモリ拡張型再考メカニズムは、ラベル相関をより良くモデル化することでマルチラベル分類を改善できるか？
• RQ2 CC や Att-RNN などのチェーンベースのモデルと比較して、提案された RethinkNet フレームワークはラベル順序への感受性を低減できるか？
• RQ3 RethinkNet は、画像タグ付けベンチマークを含む多様なマルチラベルデータセットで最先端の性能を達成できるか？
• RQ4 コストセンシティブ損失関数を用いたエンドツーエンド学習により、RethinkNet は多様な評価基準にどの程度適応可能か？
• RQ5 LSTM や GRU などの異なる RNN アーキテクチャは、再考メカニズムの性能にどの程度影響を与えるか？

主な発見

• RethinkNet は、CAL500 や Corel5k 画像タグ付けデータセットを含む 12 データセットのうち 7 データセットで最高の F1 スコアを達成し、最先端手法を上回った。
• tmc2007 データセットでは、RethinkNet はランクリスク 5.01±0.07 および F1 スコア 0.771±0.003 を達成し、従来手法を上回った。
• bibtex データセットでは、ラベルスパarsityが極めて高い中で、RethinkNet は F1 スコア 0.399±0.003 を記録し、比較対象のすべてのモデルの中で最高となった。
• Arts1 データセットでは、IRNN を使用した RethinkNet が F1 スコア 0.344±0.009 を達成し、他の RNN バージョンを上回る最高の性能を示した。
• yeast データセットでは、RethinkNet がランクリスクを 9.18±0.16 まで著しく低減し、順位付けの質が向上したことが示された。
• アブレーションスタディにより、再考メカニズムとメモリが不可欠であることが確認され、反復的精緻化のないモデルは性能が劣ることがわかった。