[論文レビュー] Local Binary Pattern(LBP) Optimization for Feature Extraction

Zeinab Sedaghatjoo, Hossein Hosseinzadeh+1 more|arXiv (Cornell University)|Jul 26, 2024

Advanced Algorithms and Applications被引用数 4

ひとこと要約

本稿では、LBP演算子を3つの固定行列に分解することで、特徴量のSVDに基づく最適化手法を提案する。そのうち2つの行列を特異値分解（SVD）により最適化することで、分類性能を向上させる。この手法により、標準LBPに比べてはるかに少ない特徴量で顔検出および顔の感情認識の分類精度が著しく向上する。

ABSTRACT

The rapid growth of image data has led to the development of advanced image processing and computer vision techniques, which are crucial in various applications such as image classification, image segmentation, and pattern recognition. Texture is an important feature that has been widely used in many image processing tasks. Therefore, analyzing and understanding texture plays a pivotal role in image analysis and understanding.Local binary pattern (LBP) is a powerful operator that describes the local texture features of images. This paper provides a novel mathematical representation of the LBP by separating the operator into three matrices, two of which are always fixed and do not depend on the input data. These fixed matrices are analyzed in depth, and a new algorithm is proposed to optimize them for improved classification performance. The optimization process is based on the singular value decomposition (SVD) algorithm. As a result, the authors present optimal LBPs that effectively describe the texture of human face images. Several experiment results presented in this paper convincingly verify the efficiency and superiority of the optimized LBPs for face detection and facial expression recognition tasks.

研究の動機と目的

• 標準LBPのテクスチャ分類性能が不十分である問題を解決し、最適なLBPパターンを同定すること。
• 行列分解を用いてLBPプロセスを数学的に再定式化し、より深い分析と最適化を可能にすること。
• 分類精度を維持または向上させながら、必要なLBP特徴量の数を削減すること。
• 固定行列の特異値分解に基づいた、最適なLBPパターンを体系的に選択する手法を開発すること。
• 顔検出および顔の感情認識の分野で、実世界のデータセットを用いて提案手法の有効性を検証すること。

提案手法

• LBP演算子を3つの行列の積として表現する：LBP行列（E）、タイリング行列（L）、ヒストグラム行列（H）として、数学的分析を可能にする。
• 3つの行列のうち2つ（LとH）が入力データに依存せず固定であることを特定し、事前に最適化可能であることを示す。
• 固定行列LとHに対して特異値分解（SVD）を適用し、分類性能を最大化する最適値を計算する。
• 主に均一なパターン（0と1の間の遷移が2回以下）である8ビットバイナリLBPパターンを最適化により導出する。
• SVDで最適化された行列に基づいて、最も識別性の高いLBP特徴量のみを抽出する新しいアルゴリズム（アルゴリズム2）を提案する。
• 分類には線形SVMを用い、交差検証を実施して顔認識および感情認識タスクの性能を評価する。

Figure 1: LBP values computation process. Each $3\times 3$ pixel block in the image is encoded to a LBP value.

実験結果

リサーチクエスチョン

• RQ1 LBP特徴抽出プロセスを、固定成分と可変成分に数学的に分解することで最適化が可能になるか？
• RQ2 LBP演算子の固定行列に特異値分解（SVD）をどのように適用し、最適なLBPパターンを導出できるか？
• RQ3 最適化されたLBP特徴量セットは、標準LBPに比べて少ない特徴量でより高い分類精度を達成できるか？
• RQ4 最適化されたLBPパターンは、顔検出および顔の感情認識タスクにおいてどの程度性能を向上させるか？
• RQ5 提案されたSVDに基づく最適化手法は、他のテクスチャ記述子やより大きなピクセル近傍領域へ一般化可能か？

主な発見

• 提案されたSVD最適化LBP特徴量は、標準LBPが必要とする256特徴量に比べてわずか16特徴量で、顔対クラッター分類において98％を超える精度を達成した。
• CK+データセットにおける顔の感情認識では、最適化LBP特徴量が平均約90％の精度を達成したのに対し、標準LBPは87％にとどまり、特徴量数を減らしても性能が優れていることが確認された。
• 同定された最適LBPパターンは、主に均一パターンであり、0と1の間の遷移が2回以下であることが確認され、テクスチャ解析においてその重要性が裏付けられた。
• 最適化LBPの誤分類行列は、標準LBPと比較して、特にレアクラス（軽蔑や嫌悪）において著しく誤分類が減少しており、分類性能の向上が明確に示された。
• 分類精度を維持または向上させながら、必要なLBP特徴量数を50％以上削減でき、高い効率性を示した。
• 最適LBP値は、顔検出および顔の感情認識の両タスクで一貫しており、最適化されたパターンの堅牢性と一般化可能性が裏付けられた。

Figure 2: LBP feature extraction process. The image is divided into 16 sub-regions and LBP values are extracted from each region. Then the histogram is applied on the LBP values to extract $8$ features for each sub-region. Then, finally, $128=16\times 8$ features are exploited from the image as LBP