[論文レビュー] Joint Binary Neural Network for Multi-label Learning with Applications to Emotion Classification

Huihui He, Rui Xia|arXiv (Cornell University)|Feb 3, 2018

Text and Document Classification Technologies参考文献 11被引用数 8

ひとこと要約

本稿では、複数ラベル感情分類のための共同バイナリニューラルネットワーク（JBNN）を提案する。JBNNは、共同バイナリ交差エントロピー（JBCE）損失を用いて、1つのエンドツーエンドフレームワーク内で複数のバイナリ分類器を同時に学習する。ソフトマックスを複数のロジスティック関数に置き換え、ラベル関係の事前知識を組み込むことで、BRNN や TDNN よりも顕著に計算コストを削減しながら、最先端の性能を達成する。

ABSTRACT

Recently the deep learning techniques have achieved success in multi-label classification due to its automatic representation learning ability and the end-to-end learning framework. Existing deep neural networks in multi-label classification can be divided into two kinds: binary relevance neural network (BRNN) and threshold dependent neural network (TDNN). However, the former needs to train a set of isolate binary networks which ignore dependencies between labels and have heavy computational load, while the latter needs an additional threshold function mechanism to transform the multi-class probabilities to multi-label outputs. In this paper, we propose a joint binary neural network (JBNN), to address these shortcomings. In JBNN, the representation of the text is fed to a set of logistic functions instead of a softmax function, and the multiple binary classifications are carried out synchronously in one neural network framework. Moreover, the relations between labels are captured via training on a joint binary cross entropy (JBCE) loss. To better meet multi-label emotion classification, we further proposed to incorporate the prior label relations into the JBCE loss. The experimental results on the benchmark dataset show that our model performs significantly better than the state-of-the-art multi-label emotion classification methods, in both classification performance and computational efficiency.

研究の動機と目的

• 従来の多ラベル学習手法の限界に取り組むこと、特にBRNNのラベル依存性モデリングの欠如とTDNNの外部しきい値処理機構の必要性。
• 分離されたバイナリ分類器の学習を別々に行わず、同時に実行する統合型ニューラルネットワークフレームワークの開発。
• 損失関数にラベル関係の事前知識を統合することで分類性能の向上。
• ラベル間で表現を共有し、モデルパラメータを最小限に抑えることで、高い計算効率を達成。

提案手法

• 従来の多クラスネットワークにおけるソフトマックス出力層を、各ラベルのバイナリ確率を出力する複数の独立したロジスティック関数に置き換える。
• すべてのバイナリ分類器を1つのニューラルネットワークアーキテクチャ内で同時に学習させ、単語埋め込み、Bi-LSTM層、文の表現を共有する。
• すべてのラベル予測を同時に最適化するため、共同バイナリ交差エントロピー（JBCE）損失を用いることで、ラベル間の依存関係を捉える。
• 感情分類の分類体系から得られる共起パターンなどのラベル関係の事前知識を、JBCE損失に組み込むことで一般化性能を向上。
• Bi-LSTMでエンコードされた表現に対してアテンション機構を適用し、入力テキスト内の感情関連語に注目する。
• 推論段階で、最終的な多変量ベルヌーイ出力をハードしきい値（例：0.5）を用いて多ラベル予測に変換する。

実験結果

リサーチクエスチョン

• RQ1 統合型ニューラルネットワークフレームワークは、分離したバイナリ分類器の学習（BRNN）を上回る性能を発揮できるか？
• RQ2 ソフトマックスを複数のロジスティック関数に置き換え、共同損失を用いることで、しきい値依存の多クラスネットワーク（TDNN）よりも性能が向上するか？
• RQ3 事前知識としてのラベル関係は、多ラベル感情分類モデルの性能にどの程度寄与するか？
• RQ4 JBNNはBRNN や TDNN と比較して、計算効率に優れているか？

主な発見

• JBNNはRen-CECpsデータセットにおいて、平均平均適合率（mAP）0.7171 ± 0.0041を達成し、すべての指標でBRNN や TDNN を顕著に上回った。
• JBNNのパラメータ数は0.28Mにまで削減され、BRNN（2.53M）の8.5倍、TDNN（2.81M）の10倍も少ない。これにより、トレーニングが高速化された。
• JBNNの1エポックあたりのトレーニング時間は35秒であり、BRNN（265秒）の約8倍、TDNN（305秒）の約9倍高速であった。
• アブレーションスタディの結果、Bi-LSTMが性能向上に最も寄与しており、次にアテンションと事前ラベル関係統合の順であった。
• アテンションや事前ラベル関係の統合を削除すると、性能低下が明確に観察され、これらが文脈や意味的依存関係を的確に捉えていることを裏付けた。
• すべての評価指標において、2つの片側t検定により、モデルの優位性が統計的に有意であると確認された。