[논문 리뷰] Fuzzy Artmap and Neural Network Approach to Online Processing of Inputs with Missing Values

Fulufhelo V. Nelwamondo, Tshilidzi Marwala|arXiv (Cornell University)|2007. 05. 08.

Fuzzy Logic and Control Systems참고 문헌 13인용 수 3

한 줄 요약

이 논문은 보정 또는 예측 없이 신경망에서 누락된 입력 값을 처리하기 위한 앙상블 기반 온라인 방법을 제안한다. 분류 작업에는 퍼지 아트맵(Fuzzy ARTMAP)을, 회귀 작업에는 다층 퍼셉트론(MLP)을 사용하여, 보정이 없는 자동 연관 네트워크와 유전 알고리즘을 사용한 경우보다 최대 9% 향상된 성능을 달성한다. 이는 데이터 추정이 필요 없고 계산 오버헤드도 감소시킨다.

ABSTRACT

An ensemble based approach for dealing with missing data, without predicting or imputing the missing values is proposed. This technique is suitable for online operations of neural networks and as a result, is used for online condition monitoring. The proposed technique is tested in both classification and regression problems. An ensemble of Fuzzy-ARTMAPs is used for classification whereas an ensemble of multi-layer perceptrons is used for the regression problem. Results obtained using this ensemble-based technique are compared to those obtained using a combination of auto-associative neural networks and genetic algorithms and findings show that this method can perform up to 9% better in regression problems. Another advantage of the proposed technique is that it eliminates the need for finding the best estimate of the data, and hence, saves time.

연구 동기 및 목표

• 실시간, 온라인으로 신경망에서 누락된 값을 가진 입력을 처리하기 위한 방법을 개발한다.
• 누락된 데이터를 보정하거나 예측할 필요를 제거하여 계산 비용과 추정 오차를 줄인다.
• 누락된 데이터 조건 하에서 분류 및 회귀 작업의 성능을 향상시킨다.
• 동적인 실세계 환경에서 효율적인 상태 모니터링을 가능하게 한다.
• 기존 방법들인 자동 연관 네트워크와 유전 알고리즘과의 성능 비교를 수행한다.

제안 방법

• 분류 작업에는 퍼지 아트맵(Fuzzy ARTMAP) 네트워크의 앙상블을 사용하여, 누락된 입력을 실시간으로 학습하고 점진적으로 처리할 수 있다.
• 회귀 작업에는 다층 퍼셉트론(MLP)의 앙상블을 활용하여, 보정 없이도 누락된 값을 직접 처리하도록 훈련한다.
• 누락된 값을 입력 구조의 일부로 간주함으로써 데이터 보정을 피하고 입력의 불확실성을 유지한다.
• 다양한 모델의 출력을 앙상블 방식으로 통합하여, 누락된 데이터가 존재하는 상황에서도 강인성과 일반화 능력을 향상시킨다.
• 시스템은 온라인 운영을 위해 설계되어 실시간 상태 모니터링 응용에 적합하다.
• 성능 평가는 자동 연관 신경망과 유전 알고리즘을 조합한 하이브리드 방법과의 비교를 통해 수행된다.

실험 결과

연구 질문

• RQ1 보정 없이도 실시간으로 누락된 값을 가진 입력을 효과적으로 처리할 수 있는 앙상블 기반 신경망 접근법은 가능한가?
• RQ2 제안된 방법의 성능는 보정 기반 접근법과 비교해 볼 때, 회귀 및 분류 작업에서 어떻게 다를까?
• RQ3 데이터 추정의 필요성을 제거하면 계산 효율성과 모델 정확도가 향상되는가?
• RQ4 퍼지 아트맵(Fuzzy ARTMAP)과 MLP 앙상블은 입력에 누락된 값이 포함되어 있을 때도 높은 정확도를 유지할 수 있는가?
• RQ5 자기 연관 네트워크와 유전 알고리즘을 조합한 방법에 비해 제안된 방법의 상대적 향상 수준은 무엇인가?

주요 결과

• 제안된 방법은 자동 연관 네트워크와 유전 알고리즘을 조합한 방법에 비해 최대 9% 향상된 성능을 보였다.
• 앙상블 방법은 누락된 데이터를 추정하거나 보정할 필요가 없어져 처리 시간을 단축시키고 추정 오차를 방지한다.
• 점진적 학습과 실시간 처리 능력 덕분에 이 방법은 온라인 상태 모니터링에 효과적이다.
• 퍼지 아트맵(Fuzzy ARTMAP) 앙상블은 완전하지 않은 입력이 있어도 강인한 분류 성능을 유지한다.
• MLP 앙상블은 데이터 보정 없이도 높은 회귀 정확도를 유지한다.
• 이 방법은 누락된 입력이 있는 분류 및 회귀 작업 전반에서 강력한 일반화 능력과 안정성을 보였다.