[論文レビュー] Pinball Loss Minimization for One-bit Compressive Sensing.

Xiaolin Huang, Lei Shi+2 more|arXiv (Cornell University)|May 14, 2015

Sparse and Compressive Sensing Techniques参考文献 29被引用数 4

ひとこと要約

本稿では、1ビット圧縮センシング（1bit-CS）におけるヒンジ損失と線形損失の間のブリッジとしてピンバル損失を提案し、スパarsityが既知の場合のピンバル損失イテレーティブハードスレッショーディングおよびスパarsityが未知の場合のエラスティックネットピンバルサポートベクターマシンの2つのモデルを導入するとともに、効率的なアルゴリズムを提示する。ピンバル損失は、ノイズのある1ビット測定環境下で、ロバストネスと精度のバランスを取ることで、従来手法に比べて再構成精度を向上させる。

ABSTRACT

The one-bit quantization can be implemented by one single comparator, which operates at low power and a high rate. Hence one-bit compressive sensing (\emph{1bit-CS}) becomes very attractive in signal processing. When the measurements are corrupted by noise during signal acquisition and transmission, 1bit-CS is usually modeled as minimizing a loss function with a sparsity constraint. The existing loss functions include the hinge loss and the linear loss. Though 1bit-CS can be regarded as a binary classification problem because a one-bit measurement only provides the sign information, the choice of the hinge loss over the linear loss in binary classification is not true for 1bit-CS. Many experiments show that the linear loss performs better than the hinge loss for 1bit-CS. Motivated by this observation, we consider the pinball loss, which provides a bridge between the hinge loss and the linear loss. Using this bridge, two 1bit-CS models and two corresponding algorithms are proposed. Pinball loss iterative hard thresholding improves the performance of the binary iterative hard theresholding proposed in [6] and is suitable for the case when the sparsity of the true signal is given. Elastic-net pinball support vector machine generalizes the passive model proposed in [11] and is suitable for the case when the sparsity of the true signal is not given. A fast dual coordinate ascent algorithm is proposed to solve the elastic-net pinball support vector machine problem, and its convergence is proved. The numerical experiments demonstrate that the pinball loss, as a trade-off between the hinge loss and the linear loss, improves the existing 1bit-CS models with better performances.

研究の動機と目的

• ノイズ環境下でロバストネスと精度を最適にバランスできない既存の1bit-CSモデルがヒンジ損失や線形損失関数に依存しているという限界に対処する。
• バイナリ分類においても広く用いられているものの、1bit-CSでは性能が最適でないヒンジ損失の代替として、より柔軟な損失関数を導入する。
• 真の信号のスパarsityが既知か未知かにかかわらず適応可能な統一的なフレームワークを構築する。
• 新しい1bit-CSモデルを解くために、収束保証付きの効率的な最適化アルゴリズムを提案する。
• ピンバル損失がヒンジ損失と線形損失のトレードオフとして機能し、実際の応用において優れた再構成性能を示すことを実証する。

提案手法

• ヒンジ損失と線形損失の間を滑らかに補間できる連続的かつ微分可能な損失関数としてピンバル損失を提案し、1bit-CSにおけるより優れたトレードオフを実現する。
• 信号のスパarsityが既知である1bit-CSに対して、イテレーティブハードスレッショーディングとピンバル損失最小化を組み合わせたピンバル損失イテレーティブハードスレッショーディング（PL-IHT）アルゴリズムを開発する。
• スパarsityが未知の1bit-CSに対して、グループラッソ正則化を組み込んだエラスティックネットピンバルサポートベクターマシン（EN-P-SVM）モデルを定式化する。
• EN-P-SVM問題を高速に解くためのデュアル座標アセントアルゴリズムを設計し、収束性の理論的証明を提供する。
• スパarsity制約の下で測定値を符号制約としてモデル化し、ピンバル損失の最小化を組み合わせることで、ピンバル損失を1bit-CSフレームワークに統合する。
• ピンバル損失の調整可能な分位数パラメータを用いて、外れ値への感受性を調整し、ノイズのある測定条件下でのロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 ノイズのある条件下で、ピンバル損失はヒンジ損失や線形損失よりも効果的な損失関数として機能するか？
• RQ2 ピンバル損失に基づく1bit-CSモデルの再構成精度は、ヒンジ損失や線形損失を使用する既存のモデルと比較してどのように異なるか？
• RQ3 特に高次元スパース信号回復において、ピンバル損失は収束保証付きで効果的に最適化可能か？
• RQ4 スパarsityが未知の場合に、エラスティックネットピンバルサポートベクターマシンモデルは[11]のパassingモデルを上回る性能を示すか？
• RQ5 提案されたアルゴリズムは、既存のイテレーティブハードスレッショーディングやSVMベースの手法と比較して、より高速な収束と優れた再構成品質を達成できるか？

主な発見

• ピンバル損失は、特にノイズのある測定環境下で、ヒンジ損失および線形損失関数よりも優れた再構成性能を達成する。
• スパarsityが既知の場合、ピンバル損失イテレーティブハードスレッショーディング（PL-IHT）は[6]のバイナリイテレーティブハードスレッショーディング手法を上回る。
• エラスティックネットピンバルサポートベクターマシンモデルは[11]のパassingモデルを一般化し、信号スパarsityが未知の場合に優れた性能を示す。
• エラスティックネットピンバルSVMに対する提案されたデュアル座標アセントアルゴリズムは、グローバル収束を示し、理論的収束保証が与えられている。
• 数値実験により、ピンバル損失がヒンジ損失と線形損失の有効なトレードオフとして機能し、さまざまな信号モデルにおいて再構成精度が向上することが確認された。
• ピンバル損失モデルは測定ノイズに対してロバストであり、低SNR条件下でも高い復元忠実度を維持する。