[論文レビュー] Online Learning for Classification of Low-rank Representation Features and Its Applications in Audio Segment Classification

Ziqiang Shi, Jiqing Han+2 more|arXiv (Cornell University)|Dec 19, 2011

Sparse and Compressive Sensing Techniques参考文献 15被引用数 5

ひとこと要約

本論文は、トレースノルム正則化を用いた頑健なPCAを介して抽出された低ランク表現特徴を用いて、音声セグメント分類のオンライン学習フレームワークを提案する。特徴抽出と分類を凸最適化によって共同で最適化することにより、特に50%のランダムな大きな誤差条件下でも優れたノイズ耐性を達成し、笑い/笑わない、 clap/clapしない分類タスクにおいて、従来のMFCCとSVMベースの手法を上回る性能を発揮する。

ABSTRACT

In this paper, a novel framework based on trace norm minimization for audio segment is proposed. In this framework, both the feature extraction and classification are obtained by solving corresponding convex optimization problem with trace norm regularization. For feature extraction, robust principle component analysis (robust PCA) via minimization a combination of the nuclear norm and the $\ell_1$-norm is used to extract low-rank features which are robust to white noise and gross corruption for audio segments. These low-rank features are fed to a linear classifier where the weight and bias are learned by solving similar trace norm constrained problems. For this classifier, most methods find the weight and bias in batch-mode learning, which makes them inefficient for large-scale problems. In this paper, we propose an online framework using accelerated proximal gradient method. This framework has a main advantage in memory cost. In addition, as a result of the regularization formulation of matrix classification, the Lipschitz constant was given explicitly, and hence the step size estimation of general proximal gradient method was omitted in our approach. Experiments on real data sets for laugh/non-laugh and applause/non-applause classification indicate that this novel framework is effective and noise robust.

研究の動機と目的

• 従来の音声特徴抽出と分類の限界を克服し、それらを単一の最適化フレームワークに統合すること。
• 長時間の音声セグメントにおいても、ノイズおよび著しい汚損に対する耐性を向上させること。
• バッチ処理を回避し、メモリ使用量を削減する、効率的なオンライン学習アルゴリズムを構築すること。
• 完全なデータロードやステップサイズ推定の必要性を排除することで、音声データのリアルタイムまたは逐次処理を可能にすること。

提案手法

• 音声セグメントを行列形式で扱い、核ノルムとℓ₁-ノルム最小化を用いた頑健なPCAを適用して、低ランク特徴を抽出することで、ノイズおよび汚損に対する耐性を向上させる。
• 分類器の複雑さを制御し一般化性能を向上させるために、トレースノルム正則化を施した凸最適化問題として行列分類を定式化する。
• 反復的計算量を削減するため、不正確な加速型近接勾配法（IAPG）を用いて、オンライン学習フレームワークに加速型近接勾配（APG）法を適合させる。
• リプシッツ定数の閉形式表現を導出することで、最適化プロセスにおける反復的ステップサイズラインサーチの必要性を排除する。
• トレースノルム制約下で重み行列とバイアスを同時に学習することで、低ランク構造を保ち、安定性を向上させる。
• 訓練サンプルを逐次的またはミニバッチ形式で処理することで、大規模およびストリーミング音声アプリケーションへのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 トレースノルム正則化による低ランク表現は、ノイズおよび著しい汚損下でも音声特徴の耐性を向上させることができるか？
• RQ2 不正確なAPGを用いたオンライン学習は、行列分類においてバッチモード学習と比較して、メモリ効率および収束性に優れているか？
• RQ3 閉形式で導出されたリプシッツ定数は、オンライン行列分類におけるステップサイズラインサーチの必要性を排除できるか？
• RQ4 極端なノイズ条件（例：50%のランダムな大きな誤差）下で、本手法は標準的なMFCCとSVMベースラインと比較してどのように性能を発揮するか？
• RQ5 特徴抽出と分類の共同最適化は、音声イベント検出における分類精度をどの程度向上させるか？

主な発見

• 通常条件下で、本手法は clap/非clap分類タスクにおいて82.17%の精度を達成し、長ベクトルを用いたSVM（81.88%）とMFCC行列を用いたAPG（82.76%）を上回った。
• 5dBの白色ガウスノイズ（WGN）下でも、rPCA特徴を用いた手法は70.47%の精度を維持したのに対し、MFCCベースのAPGは61.76%に低下し、優れたノイズ耐性を示した。
• 50%のランダムな大きな誤差下では、rPCAベースの手法が clap/非clap分類タスクで72.96%の精度を維持したのに対し、MFCCベースのAPGは51.16%に低下し、低ランク特徴の耐性の高さが顕著に示された。
• 笑い/笑わない分類タスクでは、rPCAベースのAPGが通常条件で85.84%、10%の大きな誤差下でも84.76%の精度を達成し、SVMおよびMFCCベースのAPGを著しく上回った。
• 閉形式で導出したリプシッツ定数により、収束が速くなり、ステップサイズ推定の必要性が排除され、オンライン学習における計算オーバーヘッドが削減された。
• IAPGを用いたオンライン学習フレームワークは、最小限のメモリ使用量で安定した性能を発揮し、逐次音声データのリアルタイム処理を可能にした。