[論文レビュー] Applications of Deep Neural Networks with Keras

Jeff Heaton|arXiv (Cornell University)|Sep 11, 2020

Computational Physics and Python Applications被引用数 8

ひとこと要約

本書は、Keras と TensorFlow を用いた深層ニューラルネットワークの包括的で実践的な入門書であり、回帰、分類、コンピュータ ビジョン、自然言語処理 (NLP)、強化学習における実用的応用に焦点を当てています。トランスファー ラーニング、データオーグメンテーション、およびトランスフォーマーなどの現代的アーキテクチャの活用を強調しており、研究者および実務家向けにコード例とリアルワールドのデプロイの考慮事項を提供します。

ABSTRACT

Deep learning is a group of exciting new technologies for neural networks. Through a combination of advanced training techniques and neural network architectural components, it is now possible to create neural networks that can handle tabular data, images, text, and audio as both input and output. Deep learning allows a neural network to learn hierarchies of information in a way that is like the function of the human brain. This course will introduce the student to classic neural network structures, Convolution Neural Networks (CNN), Long Short-Term Memory (LSTM), Gated Recurrent Neural Networks (GRU), General Adversarial Networks (GAN), and reinforcement learning. Application of these architectures to computer vision, time series, security, natural language processing (NLP), and data generation will be covered. High-Performance Computing (HPC) aspects will demonstrate how deep learning can be leveraged both on graphical processing units (GPUs), as well as grids. Focus is primarily upon the application of deep learning to problems, with some introduction to mathematical foundations. Readers will use the Python programming language to implement deep learning using Google TensorFlow and Keras. It is not necessary to know Python prior to this book; however, familiarity with at least one programming language is assumed.

研究の動機と目的

• 研究者および実務家向けに、Keras と TensorFlow を用いたコード中心の深層学習の実践的で実践的な導入を提供すること。
• 回帰、分類、コンピュータ ビジョン、NLP における深層ニューラルネットワークのリアルワールド応用を示すこと。
• データ前処理、モデル訓練、デプロイのベスト プラクティス（トランスファー ラーニングやデータオーグメンテーションを含む）を読者とともに検討すること。
• Keras/TensorFlow と PyTorch の比較を行い、教育的および応用的深層学習におけるフレームワーク選定の根拠を提示すること。
• トランスフォーマー、強化学習、生産環境でのデプロイを含む高度なトピックへの準備を読者にすること。

提案手法

• 深層ニューラルネットワークの構築と訓練に、主に Keras と TensorFlow をフレームワークとして使用する。
• カテゴリカルおよび連続的特徴のための one-hot 編碼、ターゲット編碼、正規化などのデータ前処理技術を適用する。
• 限られたデータでモデルのパフォーマンスを向上させるために、トランスファー ラーニングおよびデータオーグメンテーション（例：画像の反転）を適用する。
• Hugging Face や NGC からの事前学習済みモデルを活用して、NLP およびビジョン モデルのトレーニングとファインチューニングを高速化する。
• 翻訳やテキスト分類などのタスクに、トランスフォーマー（例：BERT、GPT）を用いたシーケンス モデルを実装する。
• TF-Agents を用いて強化学習を導入するが、パフォーマンスとメンテナンス性に制限があると指摘する。

実験結果

リサーチクエスチョン

• RQ1 Keras と TensorFlow を用いて、多様な機械学習タスクに適した深層ニューラルネットワークを効果的に構築・訓練する方法は何か？
• RQ2 深層学習におけるテーブルデータ、画像、テキストデータの前処理および特徴工学の最も効果的な手法は何か？
• RQ3 トランスファー ラーニングは、深層学習応用におけるモデルのパフォーマンスを向上させるとともに、トレーニングコストをどのように低減するか？
• RQ4 リアルワールドのシステムに深層学習モデルをデプロイする際の実用的課題とトレードオフは何か？
• RQ5 トランスフォーマー や GAN などの現代的アーキテクチャは、NLP およびコンピュータ ビジョンタスクでのパフォーマンスをどのように向上させるか？

主な発見

• トランスファー ラーニングは、Hugging Face や NGC からの事前学習済みモデルを活用することで、トレーニング時間と計算コストを顕著に削減する。
• 画像の反転などのデータオーグメンテーション技術により、有効なトレーニングデータ量が最大4倍に増加し、モデルの汎化性能が向上する。
• トランスフォーマーは、長距離依存関係をモデル化することで、翻訳やテキスト分類などの NLP タスクで最先端のパフォーマンスを実現する。
• Keras/TensorFlow は、教育およびプロトタイピングの文脈において安定的でアクセスしやすいフレームワークを提供するが、研究分野では PyTorch も強力な代替手段である。
• TF-Agents を用いた強化学習は機能的ではあるが、更新が遅く、頻繁な内部バグがあるため、生産環境への実用性に制限がある。
• 深層学習モデルのエンドツーエンドのデプロイには、モバイルおよびウェブアプリケーション向けに Python ノートブックから Swift や Kotlin、JavaScript などの言語に移行する必要がある。