[論文レビュー] Locally Smoothed Neural Networks

Liang Pang, Yanyan Lan+3 more|arXiv (Cornell University)|Nov 22, 2017

Face and Expression Recognition参考文献 17被引用数 3

ひとこと要約

本稿では、局所的受容 field の重要性を内容および位置に依存するスムージング関数を用いて因子分解することで、局所接続層の重み行列を再構成する新しいアーキテクチャであるローカルにスムージングされたニューラルネットワーク（LSNN）を提案する。多変量ガウス関数を用いてスムージング関数を生成することで、LSNNは空間的関係性と受容 field の内容依存的重みを捉え、MNISTの変種において、特に複数の関連領域に選択的に注目する必要があるタスクで、CNN や局所接続層を凌駕する性能を示す。

ABSTRACT

Convolutional Neural Networks (CNN) and the locally connected layer are limited in capturing the importance and relations of different local receptive fields, which are often crucial for tasks such as face verification, visual question answering, and word sequence prediction. To tackle the issue, we propose a novel locally smoothed neural network (LSNN) in this paper. The main idea is to represent the weight matrix of the locally connected layer as the product of the kernel and the smoother, where the kernel is shared over different local receptive fields, and the smoother is for determining the importance and relations of different local receptive fields. Specifically, a multi-variate Gaussian function is utilized to generate the smoother, for modeling the location relations among different local receptive fields. Furthermore, the content information can also be leveraged by setting the mean and precision of the Gaussian function according to the content. Experiments on some variant of MNIST clearly show our advantages over CNN and locally connected layer.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）や局所接続層が、局所的受容 field の重要性と空間的関係性をモデル化する点で抱える制限を解消すること。
• 入力の内容と空間的文脈に基づいて、ニューラルネットワークが動的に関連する画像領域に注目できるようにすること。
• 不変性（CNN に類似）と柔軟性（局所接続層に類似）の両方をバランスさせる、微分可能で学習可能なメカニズムを設計すること。
• 視覚的質問応答やごみだらけのシーンにおける複数桁の認識といった、選択的注目を要するタスクでの性能向上を図ること。

提案手法

• 局所接続層の重み行列を、共有されたカーネルとスムージング行列の積に因子分解する。
• 多変量ガウス関数を用いてスムージング行列を生成し、局所的受容 field 間の空間的近接性と相関関係を符号化する。
• 入力の内容に基づいてガウス関数の平均および精度を再調整する回帰ヘッドを活用し、内容依存的注目を実現する。
• バックプロパゲーションを用いてエンドツーエンドでモデルを学習させ、スムージング行列をデータから学習可能にする。
• 複数のオブジェクトに注目するため、各ターゲット領域ごとに別々のガウスグループを用いて、LSNN を複数のスムージング関数へ拡張する。
• LSNN を CNN フレームワークに統合し、分類の前に関連する画像パッチに注目できるようにする。

実験結果

リサーチクエスチョン

• RQ1 学習可能なスムージング関数は、CNN の固定重み共有を超えて、局所的受容 field の重要性をよりよくモデル化できるか？
• RQ2 内容に基づくスムージング関数は、文脈的ヒントに基づいて関連する画像領域を自動で特定できるか？
• RQ3 LSNN は、ごみだらけのシーンにおける複数の桁のように、空間的に関連する複数の領域に効果的に注目できるか？
• RQ4 構造的局所特徴タスクにおいて、LSNN は CNN や局所接続層と比較して、精度と一般化性能で優れているか？
• RQ5 多変量ガウス関数によるスムージングの空間的構造は、注目領域の局在化とロバスト性を向上させるか？

主な発見

• LSNN はごみだらけの MNIST シーケンスタスクで 6.18% の誤差率を達成し、局所接続層（13.5%）や畳み込み層（23.97%）を著しく上回った。
• 内容に基づくスムージング関数により、矢印の位置が変化しても、矢印が指している桁に自動的に注目することができた。
• 可視化により、LSNN のスムージング関数が正しい桁の領域に集中していることが確認され、注目メカニズムが分類ネットワークとは独立に動作していることが示された。
• 複数桁の状況では、複数のガウスベースのスムージング関数を用いて、空間的に関連する3つの異なる桁を効果的に特定・注目できた。
• 空間的スムージングと内容に依存する意識の両方が、特に複雑でごみだらけの環境下で性能向上に寄与することが明らかになった。
• LSNN は、CNN（同一のスムージング関数）と局所接続層（自由なスムージング関数）の一般化であることが示され、不変性と柔軟性の連続的トレードオフを提供する。