[논문 리뷰] Processing of missing data by neural networks

Marek Śmieja, Łukasz Struski외 3명|arXiv (Cornell University)|2018. 05. 18.

Neural Networks and Applications참고 문헌 34인용 수 68

한 줄 요약

본 논문은 누락 데이터 처리에 대해 일반적이고 이론적으로 정당화된 접근법을 제시한다. 첫 번째 은닉층 뉴런의 반응을 누락 데이터 밀도에 대한 기대로 대체함으로써 불완전한 데이터로 학습을 가능하게 하고, 일부 대체 기반(imputation-based) 방법보다 성능이 우수하다.

ABSTRACT

We propose a general, theoretically justified mechanism for processing missing data by neural networks. Our idea is to replace typical neuron's response in the first hidden layer by its expected value. This approach can be applied for various types of networks at minimal cost in their modification. Moreover, in contrast to recent approaches, it does not require complete data for training. Experimental results performed on different types of architectures show that our method gives better results than typical imputation strategies and other methods dedicated for incomplete data.

연구 동기 및 목표

• 신경망에서 불완전한 데이터로 학습하는 문제의 동기 부여와 formal화.
• 관찰된 부분공간으로 제한된 조건적 밀도에 기반한 누락 데이터의 확률적 표상을 제안.
• 설정된 입력 대신 확률 분포를 다루도록 1층 뉴런의 활성화를 일반화.
• 제안된 일반화가 정보 보존 및 보편 근사 특성을 달성함을 보여준다.
• 실제 데이터셋에서 오토인코더, MLP, RBF 네트워크에 걸쳐 실용적 효과를 입증한다.

제안 방법

• 각 불완전한 데이터 포인트 (x, J)를 관찰 좌표에 대응하는 아핀 부분공간 S에서의 조건부 밀도 F_S로 표현한다.
• 누락 데이터 밀도 F를 대각 가우시안 혼합(GMM)으로 모델링하고 F_S를 계산하기 위한 규제를 적용한다.
• 완전한 데이터에 대한 n(x) 대신 F_S의 기대 출력 n(F_S)을 계산하도록 1층 뉴런의 활성화를 일반화한다.
• 가우시안 혼합 입력에서 일반화된 ReLU 및 RBF 활성화에 대한 닫힌 형태 표현식을 도출한다(정리 3.1 및 정리 3.2).
• 훈련 데이터로부터 불완전한 데이터를 사용하여 GMM 매개변수와 네트워크 가중치를 함께 학습시키며 순방향-역방향 학습을 통해 end-to-end로 학습하는 방법을 설명한다.
• ReLU 기반 네트워크가 일반화된 활성화로 측정의 식별가능성을 보존한다는 보편 근사 결과를 제시하고 개략적으로 도출한다(정리 4.1).

실험 결과

연구 질문

• RQ1 결정적으로 값을 대입(imputation)하지 않고 누락 데이터를 신경망이 어떻게 처리할 수 있는가?
• RQ2 확률적 밀도로 누락 데이터를 표현하고 큰 구조 변화 없이 네트워크를 통해 전파할 수 있는가?
• RQ3 일반화된 1층 활성화가 보편 함수 근사에 필요한 정보를 보존하는가?
• RQ4 제안한 밀도 기반 접근으로 불완전한 데이터로 학습한 성능이 표준 대체법 및 컨텍스트 인코더 방법에 비해 어떠한가?

주요 결과

• 이 방법은 불완전한 샘플만 포함된 데이터셋에서 완전한 데이터 없이도 신경망 학습을 가능하게 한다.
• 가우시안 혼합 입력 하에서 일반화된 ReLU 및 RBF 활성화는 닫힌 형태로 계산 가능하여 실용적 구현이 가능하다.
• 오토인코더, MLP 및 RBF 네트워크 전반에 걸친 실험 결과가 표준 대체법 및 일부 베이스라인 방법에 비해 우수한 성능을 보인다.
• MNIST 기반 재구성에서 제안 방법은 k-NN, 평균 대체, 드롭아웃 및 일부 컨텍스트 인코더 베이스라인보다 더 예리한 결과와 더 낮은 오차를 보인다.
• ESR EEG 데이터에서 이 방법은 경쟁력 있는 정확도를 달성하며, 전통적 대체 기법을 종종 능가하고 불완전한 학습 데이터와 함께 컨텍스트 인코더의 성능과 일치한다.
• 여러 UCI 데이터셋에서 내부 결측 속성을 가진 데이터에 대해 이 접근법은 전통적 대체 및 직접 커널 방법을 자주 능가한다.