[論文レビュー] Co-domain Embedding using Deep Quadruplet Networks for Unseen Traffic Sign Recognition

Junsik Kim, Seokju Lee+2 more|arXiv (Cornell University)|Dec 5, 2017

Infrastructure Maintenance and Monitoring被引用数 8

ひとこと要約

本稿では、合成テンプレートと現実世界の画像を一致させる共通ドメイン埋め込み空間を学習することで、未学習の交通標識認識のための深層四重項ネットワークを提案する。四重項損失を用いることで特徴の一般化性能を向上させ、少サンプル認識において最先端の性能を達成する。特に、未学習クラスにおいて、三重項ベースおよびベースラインモデルと比較して、3つのデータセットすべてにおいて顕著な優位性を示す。

ABSTRACT

Recent advances in visual recognition show overarching success by virtue of large amounts of supervised data. However,the acquisition of a large supervised dataset is often challenging. This is also true for intelligent transportation applications, i.e., traffic sign recognition. For example, a model trained with data of one country may not be easily generalized to another country without much data. We propose a novel feature embedding scheme for unseen class classification when the representative class template is given. Traffic signs, unlike other objects, have official images. We perform co-domain embedding using a quadruple relationship from real and synthetic domains. Our quadruplet network fully utilizes the explicit pairwise similarity relationships among samples from different domains. We validate our method on three datasets with two experiments involving one-shot classification and feature generalization. The results show that the proposed method outperforms competing approaches on both seen and unseen classes.

研究の動機と目的

• ラベル付きの現実データが乏しい新しい地理的領域における未学習の交通標識の認識という課題に対処すること。
• 各クラスの代表的アーキテクチャとして公式に提供される合成テンプレートをアーキテクチャとして用いて、ワンショット分類を可能にすること。
• 四重項学習を用いて現実ドメインと合成ドメインを共通埋め込みすることで、低データ環境における一般化性能を向上させること。
• 大規模なアノテーション付きデータセットへの依存を減らし、新しい環境に対して再トレーニングのコストを回避すること。
• 未学習クラスにうまく一般化できる、シンプルでありながら効果的な深層メトリクス学習フレームワークの開発

提案手法

• 本手法は、深層ニューラルネットワークを用いて、現実画像と合成テンプレートの両方を共通のメトリクス空間に写像する非線形マッピングを学習する。
• 四重項損失関数を用い、4つのサンプル間の相対的類似性制約を強制する：現実クエリ、同じクラスの肯定的現実サンプル、肯定的合成テンプレート、異なるクラスの否定的合成テンプレート。
• 四重項損失は、現実サンプルがそのクラス固有の合成テンプレートに近づくようにし、否定的テンプレートからは遠ざかるように設計されており、識別力の向上を図る。
• ハッチング損失をマージン付きで用い、大マージン近傍学習にインspiredされたエンドツーエンドの訓練により、一般化性能を向上させる。
• 分類は、学習済みの合成テンプレートアーキテクチャを用いて、共通埋め込み空間における最近傍探索により実行する。
• 共通埋め込みを通じて現実ドメインと合成ドメインの関係を明示的にモデル化することで、ドメイン適応をサポートする。

実験結果

リサーチクエスチョン

• RQ1 1つのクラスあたり1枚の現実画像しか利用できない状況で、深層メトリクス学習フレームワークが未学習の交通標識クラスに効果的に一般化できるか。
• RQ2 ドメインシフトを伴う少サンプル交通標識認識において、四重項ベースの学習は三重項ベースやペairwise手法と比較してどのように異なるか。
• RQ3 合成テンプレートと現実画像の間の共通ドメイン埋め込みは、低データ環境における特徴一般化を向上させるか。
• RQ4 代表的合成テンプレートをアーキテクチャとして用いることで、限られた例でのみ学習されたモデルよりも優れた性能が得られるか。
• RQ5 四重項損失は、学習済みクラスと未学習クラスの両方において、モデルの頑健性と一般化性能にどのような影響を与えるか。

主な発見

• 提案手法の四重項ベースのアプローチは、未学習クラス認識の設定において、すべての競合手法を上回り、すべてのデータセットで最小の誤差率を達成した。
• GTSRB-allデータセットでは、1クラスあたり10サンプルで2.87%の誤差率を達成し、2番目に優れた手法（Triplet-DA、5.05%）を顕著に上回った。
• TT100k-cデータセットでは、1クラスあたり20サンプルで4.33%の誤差率を達成し、学習済みクラスでは優れた性能を示すIdsiaNet（4.23%）を未学習領域で上回った。
• 訓練データが1クラスあたり10サンプルに制限された場合、ベースラインと比較して1.5〜2.5%の性能差を示し、優れた一般化性能を示した。
• 合成テンプレートをアーキテクチャとして用いることで、過学習を防ぎ、学習済みクラスに偏らないゼロショット一般化性能が向上した。
• 訓練インスタンス数が少ない状況でも、四重項アプローチは三重項ベースの手法よりも優れた一般化性能を示した。これは、より豊富なペairワイズ関係を捉えられるためである。