[論文レビュー] Audio Captcha Recognition Using RastaPLP Features by SVM

Ahmet Faruk Çakmak, Muhammet Balcılar|arXiv (Cornell University)|Jan 8, 2019

User Authentication and Security Systems参考文献 12被引用数 5

ひとこと要約

本稿では、Rasta-PLP特徴量とPCAを用いたSVMベースの音声CAPTCHA認識システムを提案する。音声CAPTCHAデータセットにおいて、個々の数字の認識精度が98%、完全なシーケンスの認識精度が89%に達した。この手法は、信号処理と機械学習を統合し、機械に困難であるが人間には読み取り可能なノイズの多い spoken digit シーケンスを解読することを目的としている。

ABSTRACT

Nowadays, CAPTCHAs are computer generated tests that human can pass but current computer systems can not. They have common usage in various web services in order to be able to detect a human from computer programs autonomously. In this way, owners can protect their web services from bots. In addition to visual CAPTCHAs which consist of distorted images, mostly test images, that a user must write some description about that image, there are a significant amount of audio CAPTCHAs as well. Briefly, audio CAPTCHAs are sound files which consist of human sound under heavy noise where the speaker pronounces a bunch of digits consecutively. Generally, in those sound files, there are some periodic and non-periodic noises to get difficult to recognize them with a program but not for a human listener. We gathered numerous randomly collected audio file to train and then test them using our SVM algorithm to be able to extract digits out of each conversation.

研究の動機と目的

• 機械に困難であるが人間には可能な音声CAPTCHAを解読できる機械学習手法の開発を目的とする。
• ノイズが多い環境下でも頑健な音声数字認識を実現するため、Rasta-PLP特徴量とSVMおよびPCAの組み合わせの有効性を評価すること。
• 音声CAPTCHAデータセット上で、PCAを組み込んだSVMとナイーブベイズおよびデフォルトSVMの分類器の性能を比較すること。
• 4分割交差検証を用いてハイパーパramータ（C値およびPCAの分散）を最適化し、認識精度を最大化すること。

提案手法

• 音声CAPTCHAファイルの生データからRasta-PLP（Rasta-Perceptual Linear Prediction）特徴量を抽出し、発話された数字のスペクトル的・知覚的特性を表現する。
• 主成分分析（PCA）を用いて特徴量の次元を削減し、分散を保持することで一般化性能を向上させ、過学習を低減する。
• PCAで次元削減された特徴量を用いてサポートベクターマシン（SVM）分類器を学習し、ハイパーパramータ（C値および分散）を4分割交差検証により最適化する。
• 動的時間ワープィング（DTW）とデルタ関数メトリックを用いて、予測された数字シーケンスと正解シーケンスをアラインメントし、数字の順序の誤りや欠落を補正して個々の数字認識精度を算出する。
• 2つの評価指標を用いる：DTWコストによる個々の数字認識精度、およびすべての数字が正しい順序で一致する完全なシーケンス認識精度。
• 100個の音声CAPTCHAファイルから構成されるデータセットを用い、0〜9の数字とノイズクラスの合計11クラスでシステムを学習および評価する。

実験結果

リサーチクエスチョン

• RQ1 Rasta-PLP特徴量にPCAとSVMを組み合わせることで、重度の背景ノイズ下でも音声CAPTCHAを高精度に解読できるか？
• RQ2 PCAを含めることで、非PCAベースラインと比較してSVMの音声CAPTCHA認識性能にどのような影響を与えるか？
• RQ3 音声CAPTCHAデータに対して認識精度を最大化する最適なC値とPCA分散の組み合わせは何か？
• RQ4 異なる分類器間で、個々の数字認識精度と完全なシーケンス認識精度の指標はどのように比較できるか？

主な発見

• 提案されたPCAを組み込んだSVMは、98.09%の個々の数字認識精度を達成し、ナイーブベイズ（42.13%）およびデフォルトSVM（92.20%）を顕著に上回った。
• 最適化されたSVM-PCAモデルでは、完全なシーケンス認識精度が89.00%に達したのに対し、デフォルトSVMは44.00%、ナイーブベイズは0.00%であった。
• 最適なハイパーパramータはC = 50およびPCA分散 = 0.9であり、4分割交差検証で最高の認識精度94.78%を達成した。
• 0〜9のすべての数字が、提案されたSVM-PCAモデルで100%の訓練精度を達成しており、トレーニングセットにおける強い一般化性能を示している。
• ノイズクラスの訓練精度は99.93%と高く、モデルがノイズと発話された数字を効果的に区別できていることを示している。
• 本研究では、PCAが音声CAPTCHA認識においてSVMの性能を顕著に向上させることを示しており、特にクラスの不均衡に対処する上で有効である。