[論文レビュー] Deep Local Binary Patterns

Kelwin Fernandes, Jaime S. Cardoso|arXiv (Cornell University)|Nov 17, 2017

Image Retrieval and Classification Techniques参考文献 32被引用数 9

ひとこと要約

本稿では、従来の局所的バイナリパターン（LBP）の新規拡張として、学習可能なデータ駆動型バイナリ化ルールを用いてLBPを再帰的に適用することで、階層的で高レベルの特徴を捉えるDeep Local Binary Patterns（Deep LBP）を提案する。パラメータ化されたLBP演算子を用いることで、逐次的な抽象化レベルを実現し、複数のデータセットにおいて標準的およびマルチスケールLBPを上回る識別性能を達成する。特に、類似度学習のためのPCAベースの埋め込みを用いることで、最高の結果が得られた。

ABSTRACT

Local Binary Pattern (LBP) is a traditional descriptor for texture analysis that gained attention in the last decade. Being robust to several properties such as invariance to illumination translation and scaling, LBPs achieved state-of-the-art results in several applications. However, LBPs are not able to capture high-level features from the image, merely encoding features with low abstraction levels. In this work, we propose Deep LBP, which borrow ideas from the deep learning community to improve LBP expressiveness. By using parametrized data-driven LBP, we enable successive applications of the LBP operators with increasing abstraction levels. We validate the relevance of the proposed idea in several datasets from a wide range of applications. Deep LBP improved the performance of traditional and multiscale LBP in all cases.

研究の動機と目的

• 従来のLBPが固定された低レベル符号化であるため、高レベルで抽象化された画像特徴を捉えることが難しいという制限を解消すること。
• 特に階層的特徴学習という深層学習の概念を、LBPのような古典的テクスチャ記述子に統合すること。
• 適応的かつデータ駆動型のバイナリ化関数を用いて、LBP演算子を繰り返し適用することで、LBPの識別力を向上させること。
• 2つの学習パラダイムを検討する：類似度に基づく順序付けと、柔軟でアプリケーション固有のLBPルール学習が可能な高次元埋め込み。
• 提案手法の有効性を、テクスチャ分類、顔認識、オブジェクト検出をカバーする多様なデータセット上で検証すること。

提案手法

• 各層が直前の層の出力に対してLBPを適用する再帰的LBP演算子の適用を提案し、階層的特徴抽象化を可能にする。
• LBPコード間の順序関係を定義するパラメータ化されたバイナリ化関数を導入し、ユーザーが定義した類似度メトリクスに基づいて学習する。
• LBPコードを高次元埋め込み空間に表現することで、変換空間における順序関係ルールの直接学習を可能にする。
• PCAベースの射影を用いて次元削減を実施し、埋め込み空間における識別的類似度情報を保持する。
• 2段階の学習戦略を採用：まず類似度に基づいて順序関数を学習し、次に訓練データを用いて埋め込みを最適化する。
• 複数のブロックLBPヒストグラムを深層スタック化して、空間的領域にわたる局所特徴を統合し、グローバル表現を強化する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なバイナリ化ルールを用いてLBPを再帰的に適用することで、従来のLBPを超えた特徴抽象化が可能になるか？
• RQ2 類似度メトリクスを用いてLBPコード間の順序関係を学習することで、分類性能にどのような影響を与えるか？
• RQ3 学習された順序関係を伴う高次元空間へのLBPコードの射影は、直接的な類似度学習に比べて識別力を向上させるか？
• RQ4 Deep LBPは、多様なコンピュータビジョンタスクにおいて、標準的LBP、マルチスケールLBP、LBPNetの変種をどれだけ上回るか？
• RQ5 提案手法は、明るさや回転に対してロバスト性を保ちながら、高レベルの特徴表現を達成できるか？

主な発見

• Kylbergテクスチャデータセットでは、Deep LBPがPCAベースの埋め込みを用いて99.55%の精度を達成し、浅層LBPの97.57%を上回った。
• 102 Flowersデータセットでは、Deep LBPにPCAを適用することで誤差率を8.80%に低下させ、浅層LBPの12.79%とLBPNetの22.30%を上回った。
• Caltech 101データセットでは、Deep LBPにPCAを適用することで誤差率を浅層LBPの41.03%から45.14%に低下させ、マルチスケールLBPおよびLBPNetのベースラインを常に上回った。
• PCAベースのDeep LBPの変種は、すべてのデータセットで最高の性能を達成し、類似度学習に向けた高次元埋め込みの有効性を示した。
• Deep LBPは、すべてのベンチマークで標準的およびマルチスケールLBPを一貫して上回り、階層的抽象化の利点を確認した。
• 本手法は、従来のLBPの長所（明るさや回転不変性など）を保持するとともに、学習可能なルールによる深層的特徴抽象化を実現した。