[논문 리뷰] Reducing Artificial Neural Network Complexity: A Case Study on Exoplanet Detection

Sebastiaan Koning, Caspar Greeven외 1명|arXiv (Cornell University)|2019. 02. 27.

Astronomical Observations and Instrumentation인용 수 5

한 줄 요약

이 논문은 1차원 시간 시리즈 데이터를 위한 합성곱 신경망(CNN)의 파라미터 복잡도를 줄이기 위해 두 가지 방법을 제안한다. 특히, 외계행성 탐지용 AstroNet에 적용한다. 층 제거와 입력 데이터를 내림샘플링하기 위해 가우시안 피라미드를 사용함으로써, 정확도 손실이 최소한이면서도 훈련 속도를 최대 85% 향상시켰다. 이는 1D CNN에서 성능을 훼손하지 않으면서도 효율성을 확보할 수 있음을 보여준다.

ABSTRACT

Despite their successes in the field of self-learning AI, Convolutional Neural Networks (CNNs) suffer from having too many trainable parameters, impacting computational performance. Several approaches have been proposed to reduce the number of parameters in the visual domain, the Inception architecture [Szegedy et al., 2016] being a prominent example. This raises the question whether the number of trainable parameters in CNNs can also be reduced for 1D inputs, such as time-series data, without incurring a substantial loss in classification performance. We propose and examine two methods for complexity reduction in AstroNet [Shallue & Vanderburg, 2018], a CNN for automatic classification of time-varying brightness data of stars to detect exoplanets. The first method makes only a tactical reduction of layers in AstroNet while the second method also modifies the original input data by means of a Gaussian pyramid. We conducted our experiments with various degrees of dropout regularization. Our results show only a non-substantial loss in accuracy compared to the original AstroNet, while reducing training time up to 85 percent. These results show potential for similar reductions in other CNN applications while largely retaining accuracy.

연구 동기 및 목표

• 1D CNN에서 파라미터 복잡도를 현저히 감소시켜도 성능 저하가 발생하지 않는지 조사한다.
• 구조적 제거와 입력 수준의 데이터 변환 방식이 훈련 효율성과 분류 정확도에 미치는 영향을 평가한다.
• AstroNet, 항성 밝기 변화 곡선에서 외계행성 탐지를 위한 CNN 모델에 대해 복잡도 감소 기법을 적용하고 테스트한다.
• 드롭아웃 정규화가 모델 압축 과정에서 성능 유지에 어떻게 기여하는지 평가한다.
• 유사한 복잡도 감소 전략이 다른 1D CNN 응용 분야로 일반화될 수 있음을 보여준다.

제안 방법

• 첫 번째 방법은 원래 AstroNet 아키텍처의 층 수를 줄여 네트워크의 깊이를 단순화한다.
• 두 번째 방법은 입력 빛 곡선을 내림샘플링하기 위해 가우시안 피라미드를 적용하여 특징 추출 이전에 입력 차원을 감소시킨다.
• 두 방법 모두 일반화를 유지하고 과적합을 방지하기 위해 다양한 수준의 드롭아웃 정규화를 적용하여 평가한다.
• 모델들은 원래 AstroNet 연구에서 사용된 동일한 외계행성 탐지 데이터셋을 기반으로 훈련 및 검증한다.
• 성능는 분류 정확도와 훈련 시간을 측정하여, 압축된 모델과 원본 AstroNet을 비교한다.
• 모델 복잡도, 정확도, 훈련 속도의 균형을 맞추기 위해 하이퍼파rameter를 최적화한다.

실험 결과

연구 질문

• RQ1 1D CNN의 층 수를 줄이면 분류 정확도에 미치는 영향을 최소화하면서 훈련 시간을 크게 단축시킬 수 있는가?
• RQ2 가우시안 피라미드를 통해 입력 데이터를 사전 처리하면 모델 복잡도를 줄이고도 탐지 성능를 유지할 수 있는가?
• RQ3 드롭아웃 정규화는 구조적 단순화 과정에서 모델의 강건성을 얼마나 잘 유지하는가?
• RQ4 2D CNN에서 사용된 복잡도 감소 기법(예: Inception)이 항성 밝기 변화 곡선과 같은 1D 시계열 데이터에 효과적으로 적용될 수 있는가?
• RQ5 외계행성 탐지에 있어 1D CNN에서 모델 복잡도, 훈련 속도, 정확도 사이의 상호 상충 관계는 어떠한가?

주요 결과

• 층 제거 방법은 원본 AstroNet과 비슷한 분류 정확도를 유지하면서도 훈련 시간을 최대 85% 감소시켰다.
• 가우시안 피라미드 입력 변환 방법 역시 훈련 시간을 크게 단축시켰으며, 기준 모델과 유사한 정확도를 달성했다.
• 두 방법 모두 원본 AstroNet과 비교해 정확도가 근소한 범위 내에서 유지되어 성능 저하가 거의 없음을 확인했다.
• 구조적 제거와 입력 수준의 다운샘플링을 조합한 방법은 탐지 능력에 손상 없이 모델 복잡도를 효과적으로 줄이는 데 성공했다.
• 드롭아웃 정규화는 다양한 압축 수준에서 성능 안정성을 높여주어, 압축된 모델의 일반화 능력을 뒷받침했다.
• 결과적으로 복잡도 감소 기법이 2D CNN에서 1D 시계열 응용 분야로 성공적으로 이식될 수 있음을 입증했다.