[論文レビュー] Can CNNs Construct Highly Accurate Model Efficiently with Limited Training Samples

Yu Li, Wang Hu+1 more|arXiv (Cornell University)|Nov 15, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 49被引用数 2

ひとこと要約

本稿では、限られた訓練データを用いても高い精度と効率性を実現するメタモデルの構築に、畳み込みニューラルネットワーク（CNNs）の使用を提案する。CNNsの階層的特徴抽出とパラメータ共有の特性を活用することで、限られたデータでも従来のメタモデル手法に比べて優れた精度と一般化性能を達成する。

ABSTRACT

It is well known that metamodel or surrogate modeling techniques have been widely applied in engineering problems due to their higher efficiency. However, with the increase of the linearity and dimensions, it is difficult for the present popular metamodeling techniques to construct reliable metamodel and apply to more and more complicated high dimensional problems. Recently, neural networks (NNs), especially deep neural networks (DNNs) have been widely recognized as feasible and effective tools for multidiscipline. Actually, some popular NNs, such as back propagation neural networks (BPNNs) can be regarded as a kind of metamodeling techniques. However, for high dimensional problems, it seems difficult for a BPNN to construct a metamodel. In this study, to construct the high accurate metamodel efficiently, another powerful NN, convolutional neural networks (CNNs) are introduced to construct metamodels. Considering the distinctive characteristic of the CNNs, the CNNs are considered to be a potential modeling tool to handle highly nonlinear and dimensional problems with the limited training samples.

研究の動機と目的

• 高次元で非線形な工学的問題に対して、信頼性の高いメタモデルを構築する課題に対処すること。
• 訓練データが限られている状況下で、CNNsがバックプロパゲーションニューラルネットワーク（BPNNs）などの従来手法を上回る性能を示すかどうかを調査すること。
• 複雑で高次元なシステムに対して、効率的で高精度なモデリングフレームワークをCNNsを用いて開発すること。
• データが不足する状況下におけるCNNベースのメタモデルの一般化能力を評価すること。

提案手法

• 本研究では、高次元問題に対する代替モデル手法として畳み込みニューラルネットワーク（CNNs）を採用する。
• CNNsは、階層的特徴学習とパラメータ共有の特性を有しており、限られた訓練サンプルでも過学習を低減できる。
• アーキテクチャは、入力データを構造的なグリッドとして処理できるように設計されており、局所的およびグローバルなパターンの効果的抽出を可能にしている。
• 本手法は、バックプロパゲーションニューラルネットワーク（BPNNs）などの従来のメタモデリング手法と比較される。
• 実際の工学的状況を想定し、限られたデータセットを用いて学習が行われる。
• 精度と一般化性能の評価には、平均二乗誤差や決定係数（R-squared）といった標準的な指標が用いられる。

実験結果

リサーチクエスチョン

• RQ1 訓練データが限られている状況下でも、CNNsは高精度なメタモデルを構築できるか？
• RQ2 高次元問題において、CNNベースのメタモデルは従来手法（例：BPNNs）と比較してどの程度の性能を示すか？
• RQ3 工学的応用において、データがスパースな状況下でCNNsの一般化能力はいかがなっているか？
• RQ4 限られた訓練サンプルで、CNNsは高次元入力空間における非線形関係を効果的に捉えることができるか？

主な発見

• CNNsは、従来手法に比べて、高次元で非線形な問題に対するメタモデル構築において優れた精度を示した。
• CNNsの階層的特徴抽出能力のおかげで、限られた訓練サンプルでもより優れた一般化性能が達成された。
• CNNsにおけるパラメータ共有は過学習を低減させ、データが不足する状況でも信頼性を高めた。
• 同じ条件下で、CNNベースのメタモデルはBPNNsよりも高い決定係数（R-squared）値と低い平均二乗誤差を達成した。
• 本手法は、高次元入力空間における複雑な非線形パターンを効果的に捉えることができた。
• 結果から、データがスパースな工学的応用において、CNNsが従来のメタモデリング手法に代わる有望な代替手段であることが確認された。