[論文レビュー] Handwritten Chinese Character Recognition by Convolutional Neural Network and Similarity Ranking

Junyi Zou, Jinliang Zhang+1 more|arXiv (Cornell University)|Aug 30, 2019

Handwritten Text Recognition Techniques参考文献 6被引用数 10

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）を用いた手書き中国漢字認識（HCCR）の精度向上を目的として、交差エントロピーと平均分散類似度ランク付けを組み合わせた新しい損失関数を提案する。標準的なソフトマックス交差エントロピー損失に代えて、クラス間関係を保持するハイブリッド損失を採用することで、ベースラインモデルよりも高い精度を達成し、平均分散類似度ランク付けを用いた場合に最も優れた性能を示した。

ABSTRACT

Convolution Neural Networks (CNN) have recently achieved state-of-the art performance on handwritten Chinese character recognition (HCCR). However, most of CNN models employ the SoftMax activation function and minimize cross entropy loss, which may cause loss of inter-class information. To cope with this problem, we propose to combine cross entropy with similarity ranking function and use it as loss function. The experiments results show that the combination loss functions produce higher accuracy in HCCR. This report briefly reviews cross entropy loss function, a typical similarity ranking function: Euclidean distance, and also propose a new similarity ranking function: Average variance similarity. Experiments are done to compare the performances of a CNN model with three different loss functions. In the end, SoftMax cross entropy with Average variance similarity produce the highest accuracy on handwritten Chinese characters recognition.

研究の動機と目的

• 手書き中国漢字認識におけるソフトマックス交差エントロピー損失がクラス間関係を捉えられていないという限界を解決すること。
• 類似度ランク付け関数と交差エントロピー損失を統合することで、CNNにおける特徴の識別性を向上させること。
• HCCRの文脈において、ユークリッド距離と提案された平均分散類似度を含む複数の損失関数を評価・比較すること。
• 交差エントロピー損失と新規類似度ランク付け関数を組み合わせることで、優れた認識精度が得られることを示すこと。

提案手法

• クラス間情報の保持を目的として、標準的な交差エントロピー損失と類似度ランク付け関数を組み合わせたハイブリッド損失関数を提案する。
• 特徴の凝集性とクラス間分離性を測定することを目的として、平均分散類似度と呼ばれる新しい類似度ランク付け関数を導入する。
• 手書き中国漢字からの特徴抽出にCNNアーキテクチャを用い、その後、提案された損失関数を用いて分類を行う。
• 比較のためのベースラインとして、ユークリッド距離を類似度ランク付け関数として使用する。
• 分類精度とクラス間マージンの両方を最適化するため、組み合わせ損失を用いてモデルを訓練する。
• 主にトップ1精度を指標として用い、標準的なHCCRベンチマーク上でモデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 交差エントロピー損失と類似度ランク付け関数を組み合わせることで、手書き中国漢字認識における一般化性能が向上するか？
• RQ2 提案された平均分散類似度関数は、ユークリッド距離と比較して、特徴の識別性をどのように向上させるか？
• RQ3 ハイブリッド損失関数は、HCCRにおける標準的なソフトマックス交差エントロピー損失よりも高い認識精度を達成するか？
• RQ4 クラス間情報の保持が、HCCRにおけるモデル性能に与える相対的寄与度はどの程度か？

主な発見

• 交差エントロピー損失と平均分散類似度ランク付け損失の組み合わせが、HCCRベンチマークで最も高い認識精度を達成した。
• ハイブリッド損失設定において、提案された平均分散類似度関数がユークリッド距離を上回る性能を示した。
• ハイブリッド損失関数を用いたモデルは、単一のソフトマックス交差エントロピー損失を使用したモデルと比較して、より優れたクラス間分離性を示した。
• 結果から、類似度ランク付けを用いてクラス間関係を保持することで、HCCRにおけるモデルの一般化性能が向上することが示された。