[論文レビュー] Tongue image constitution recognition based on Complexity Perception method

Jiajiong Ma, Guihua Wen+5 more|arXiv (Cornell University)|Mar 1, 2018

Traditional Chinese Medicine Studies参考文献 7被引用数 5

ひとこと要約

本稿では、画像の複雑さに基づく認識手法を提案し、高複雑度および低複雑度のサブセットにデータセットを分割することで、舌画像の体質認識精度を向上させる。深層畳み込みニューラルネットワークを用い、Softmax、SVM、DecisionTree分類器を組み合わせた手法により、変動する環境条件下の3つのデータセットで平均精度が1.135%向上し、59.99%の精度を達成した。

ABSTRACT

Background and Object: In China, body constitution is highly related to physiological and pathological functions of human body and determines the tendency of the disease, which is of great importance for treatment in clinical medicine. Tongue diagnosis, as a key part of Traditional Chinese Medicine inspection, is an important way to recognize the type of constitution.In order to deploy tongue image constitution recognition system on non-invasive mobile device to achieve fast, efficient and accurate constitution recognition, an efficient method is required to deal with the challenge of this kind of complex environment. Methods: In this work, we perform the tongue area detection, tongue area calibration and constitution classification using methods which are based on deep convolutional neural network. Subject to the variation of inconstant environmental condition, the distribution of the picture is uneven, which has a bad effect on classification performance. To solve this problem, we propose a method based on the complexity of individual instances to divide dataset into two subsets and classify them separately, which is capable of improving classification accuracy. To evaluate the performance of our proposed method, we conduct experiments on three sizes of tongue datasets, in which deep convolutional neural network method and traditional digital image analysis method are respectively applied to extract features for tongue images. The proposed method is combined with the base classifier Softmax, SVM, and DecisionTree respectively. Results: As the experiments results shown, our proposed method improves the classification accuracy by 1.135% on average and achieves 59.99% constitution classification accuracy. Conclusions: Experimental results on three datasets show that our proposed method can effectively improve the classification accuracy of tongue constitution recognition.

研究の動機と目的

• 舌画像の収集における一貫性の欠如する環境要因が分類性能を低下させるという課題に対処すること。
• 代替的で非侵襲的かつ迅速かつ正確な体質認識を実現する、モバイルデプロイ可能なシステムを構築すること。
• 個々の舌画像が有する固有の複雑さに適応するため、データセットの分割を用いて分類精度を向上させること。
• 深層学習と従来の画像解析特徴量の両方を用いて、複数のデータセットサイズで手法を評価すること。

提案手法

• 本手法は、深層畳み込みニューラルネットワークを用いて舌領域を検出し、キャリブレーションすることで入力画像を標準化することから始める。
• 視覚的テクスチャおよび分布の不規則性に基づいて個々の画像インスタンスを評価する複雑さ認識メカニズムを導入する。
• 局所エントロピーと勾配分散に基づいて導出された複雑さ閾値を用いて、画像を高複雑度および低複雑度のサブセットに分割する。
• 各サブセットに対して、ベース分類器（Softmax、SVM、DecisionTree）を別々に適用し、グループごとの特徴学習を最適化する。
• 2つのサブセット固有の分類器からの予測を統合することで、全体の耐性を向上させる。
• 本手法は3つのデータセットサイズで検証され、特徴抽出に深層学習と従来の画像解析を比較した。

実験結果

リサーチクエスチョン

• RQ1 内在的な複雑さに基づいて舌画像を分割することで、変動する環境条件下でも分類精度が向上するか？
• RQ2 提案手法の複雑さ認識法は、従来の特徴抽出法と比較して、舌体質認識において優れているか？
• RQ3 高複雑度および低複雑度の画像サブセットを別々に分類することで、統合分類よりも優れた性能が得られるか？
• RQ4 本手法は、さまざまなデータセットサイズにおいて、どの程度精度を向上させるか？
• RQ5 本手法は、非侵襲的体質認識を実現するため、モバイルデバイスに効果的にデプロイ可能か？

主な発見

• 提案手法は、ベースライン手法と比較して、全テストデータセットで平均分類精度が1.135%向上した。
• 達成された最高の体質分類精度は59.99%であり、複雑で現実的で変動しやすい撮影条件において顕著な改善を示した。
• 複雑さに基づくデータセット分割により、特に低照度または不均一な照明状態の画像においても、より安定した性能が得られた。
• Softmax、SVM、DecisionTreeを含む複数のベース分類器と組み合わせた場合、本手法は一貫した精度向上を示した。
• 環境変動に対して効率的で耐性があることから、本手法はモバイルデバイスへのデプロイが可能であることが示された。
• 複雑さに配慮した分割を用いることで、分類性能に悪影響を及ける画像分布の不規則性の影響が軽減された。