[論文レビュー] Reducing Artificial Neural Network Complexity: A Case Study on Exoplanet Detection

Sebastiaan Koning, Caspar Greeven+1 more|arXiv (Cornell University)|Feb 27, 2019

Astronomical Observations and Instrumentation被引用数 5

ひとこと要約

本論文は、1次元時系列データ向けの畳み込みニューラルネットワーク（CNN）におけるパラメータ複雑度を低減する2つの手法を提案する。特に、系外惑星検出のためのAstroNetに適用している。層のプルーニングと、入力データをガウスピラミッドでダウンサンプリングすることで、精度の損失を最小限に抑えながら、最大85％の高速化を達成した。1次元CNNにおける効率性向上の可能性を示した。

ABSTRACT

Despite their successes in the field of self-learning AI, Convolutional Neural Networks (CNNs) suffer from having too many trainable parameters, impacting computational performance. Several approaches have been proposed to reduce the number of parameters in the visual domain, the Inception architecture [Szegedy et al., 2016] being a prominent example. This raises the question whether the number of trainable parameters in CNNs can also be reduced for 1D inputs, such as time-series data, without incurring a substantial loss in classification performance. We propose and examine two methods for complexity reduction in AstroNet [Shallue & Vanderburg, 2018], a CNN for automatic classification of time-varying brightness data of stars to detect exoplanets. The first method makes only a tactical reduction of layers in AstroNet while the second method also modifies the original input data by means of a Gaussian pyramid. We conducted our experiments with various degrees of dropout regularization. Our results show only a non-substantial loss in accuracy compared to the original AstroNet, while reducing training time up to 85 percent. These results show potential for similar reductions in other CNN applications while largely retaining accuracy.

研究の動機と目的

• 1次元CNNにおけるパラメータ複雑度を、顕著な性能低下を伴わずに低減できるかどうかを調査すること。
• アーキテクチャのプルーニングと入力レベルのデータ変換が、トレーニング効率と分類精度に与える影響を評価すること。
• AstroNet（星の光度曲線における系外惑星検出のためのCNNモデル）に、複雑度低減技術を適用し、テストすること。
• ドロップアウト正則化が、モデル圧縮中に性能を維持する上で果たす役割を評価すること。
• 類似する複雑度低減戦略が、他の1次元CNN応用分野へ一般化可能であることを示すこと。

提案手法

• 最初の手法は、元のAstroNetアーキテクチャの層数を減らし、ネットワークの深さを単純化すること。
• 2番目の手法は、入力の光度曲線をガウスピラミッドを用いてダウンサンプリングし、特徴抽出の前に入力次元を低減すること。
• 両手法とも、一般化を保ち、過学習を防ぐために、さまざまなドロップアウト正則化の度合いを用いて評価された。
• モデルは、元のAstroNet研究で用いられた同じ系外惑星検出データセットを用いてトレーニングおよび検証された。
• 性能は分類精度とトレーニング時間の両面から測定され、圧縮されたモデルと元のAstroNetとの比較がなされた。
• モデルの複雑度、精度、トレーニング速度のバランスを取るために、ハイパーパrameterが最適化された。

実験結果

リサーチクエスチョン

• RQ1 1次元CNNの層数を減らすことで、分類精度に顕著な影響を与えずにトレーニング時間を著しく短縮できるか？
• RQ2 ガウスピラミッドによる入力データの事前処理は、モデルの複雑度を低減しつつ、検出性能を維持できるか？
• RQ3 ドロップアウト正則化は、アーキテクチャの単純化に伴うモデルのロバスト性をどの程度維持できるか？
• RQ4 2次元CNNで効果を示した複雑度低減技術（例：Inception）を、星の光度曲線のような1次元時系列データに効果的に適応できるか？
• RQ5 1次元CNNを用いた系外惑星検出において、モデルの複雑度、トレーニング速度、精度の間にはどのようなトレードオフがあるか？

主な発見

• 層のプルーニング手法により、トレーニング時間を最大85％短縮したが、分類精度は元のAstroNetと差が顕著でない範囲に維持された。
• ガウスピラミッドによる入力変換も、トレーニング時間の顕著な短縮をもたらし、ベースラインモデルと同等の精度を達成した。
• 両手法とも、元のAstroNetと比較して、無視できる範囲の精度の低下に留まり、性能の著しい劣化は確認されなかった。
• アーキテクチャのプルーニングと入力レベルのダウンサンプリングの組み合わせは、検出能力に影響を与えずにモデルの複雑度を低減するのに有効であった。
• ドロップアウト正則化は、さまざまな圧縮レベルにおいて性能の安定化に寄与し、圧縮モデルの一般化を支援した。
• 結果として、2次元CNN向けに開発された複雑度低減技術が、時系列応用分野における1次元CNNへも成功裏に適用可能であることが示された。