[論文レビュー] Model-Aided Wireless Artificial Intelligence: Embedding Expert Knowledge in Deep Neural Networks Towards Wireless Systems Optimization

Alessio Zappone, Marco Di Renzo+3 more|arXiv (Cornell University)|Aug 5, 2018

Indoor and Outdoor Localization Technologies参考文献 14被引用数 16

ひとこと要約

本稿では、無線ネットワークの簡略化された理論的モデルをデータ駆動型ニューラルネットワークと統合することで、データ量と学習の複雑さを低減するモデル支援型ディープラーニングフレームワークを提案する。転移学習（解析的モデルで事前学習し、実データでファインチューニングする）を用いることで、実データを著しく減らし、近似的最適性能を達成し、5G/6Gシステムにおける基地局配置密度の最適化において、優れた効率性と正確性を示した。

ABSTRACT

Deep learning based on artificial neural networks is a powerful machine learning method that, in the last few years, has been successfully used to realize tasks, e.g., image classification, speech recognition, translation of languages, etc., that are usually simple to execute by human beings but extremely difficult to perform by machines. This is one of the reasons why deep learning is considered to be one of the main enablers to realize the notion of artificial intelligence. In order to identify the best architecture of an artificial neural network that allows one to fit input-output data pairs, the current methodology in deep learning methods consists of employing a data-driven approach. Once the artificial neural network is trained, it is capable of responding to never-observed inputs by providing the optimum output based on past acquired knowledge. In this context, a recent trend in the deep learning community is to complement pure data-driven approaches with prior information based on expert knowledge. In this work, we describe two methods that implement this strategy, which aim at optimizing wireless communication networks. In addition, we illustrate numerical results in order to assess the performance of the proposed approaches compared with pure data-driven implementations.

研究の動機と目的

• 純粋にデータ駆動型のディープラーニングが無線ネットワーク最適化に与える高コストなデータおよび計算負荷に対処すること。
• 既存の無線システムの理論的モデルを事前知識として活用し、ニューラルネットワークの学習効率を向上させること。
• 簡略化された解析的モデルで事前学習することで、実世界のデータ量を削減すること。
• 専門知識とディープラーニングを組み合わせることで、純粋にデータ駆動型の手法よりも優れた性能-複雑さのトレードオフが達成できることを示すこと。
• 分野特有の知識をディープニューラルネットワークに埋め込む手法として、転移学習の有効性を検討すること。

提案手法

• 均一分布を用いた簡略化された解析的電力消費モデルから生成された合成データを用いて、深層ニューラルネットワーク（DNN）を事前学習する。
• ガウス分布に従う実世界のハードウェア電力消費データの小規模なデータセットを用いて、事前学習済みDNNをファインチューニングする。
• 複数層のDNNを用い、ReLU活性化関数と異なるアーキテクチャを採用することで、複雑さと性能のトレードオフを最適化する。
• モデルベースの事前学習フェーズからデータ駆動型のファインチューニングフェーズへ知識を転送することで、転移学習を適用する。
• 2段階の学習手順を採用する：まずモデル生成データで学習し、その後で実データで精練する。
• 性能評価のため、訓練・検証・テストに平均二乗誤差（MSE）を損失関数として用いる。

実験結果

リサーチクエスチョン

• RQ1 無線ネットワークの簡略化された理論的モデルを、実世界の大規模データセットに依存しない深層ニューラルネットワークの事前学習に効果的に利用できるか？
• RQ2 解析的モデルからの専門的知識の統合が、無線最適化におけるデータ駆動型ディープラーニングの一般化性能および収束性をどのように向上させるか？
• RQ3 モデル支援型学習を用いる場合、ニューラルネットワークの複雑さと性能の最適なトレードオフは何か？
• RQ4 モデル生成データでの事前学習が、有効なファインチューニングに必要な実データのサンプル数をどの程度削減できるか？
• RQ5 転移学習技術が、無線ネットワーク最適化問題に効果的に適用可能であり、学習効率と正確性を向上させられるか？

主な発見

• 純粋にデータ駆動型の学習と比較して、モデル支援型アプローチは、特に実データが限られる状況で顕著に学習性能が向上した。
• 均一分布を用いた簡略化モデルからの合成データで事前学習することで、実データの必要量を最大50％まで削減しながらも高い正確性を維持できた。
• 隠れ層が5層で、各層に8ニューロンを有するDNNが、精度において非常に近似的最適性能を達成し、はるかに深いアーキテクチャ（128-64-32-16-8）に匹敵する結果を得た。
• モデルベースの事前学習により、実データのみで学習を開始する場合と比較して、テスト誤差が最大40％まで低減された。
• 事前学習にモデル生成データを使用した場合、訓練誤差および検証誤差の曲線が、収束が早く、一般化誤差も低くなる傾向が確認された。
• 解析的モデルとディープラーニングを転移学習を介して統合することは、無線ネットワーク最適化において実用的で効率的な戦略であると結果が裏付けられた。