[논문 리뷰] A Constructive Algorithm for Feedforward Neural Networks for Medical Diagnostic Reasoning

Abu Bakar Siddiquee, Md. Ehsanul Hoque Mazumder외 1명|arXiv (Cornell University)|2010. 09. 23.

Neural Networks and Applications참고 문헌 4인용 수 7

한 줄 요약

이 논문은 의료 진단 추론을 위한 피드포워드 신경망 학습을 위한 구축형 알고리즘을 제안하며, 최소한이면서 정확한 아키텍처를 달성하기 위해 은닉 유닛을 점진적으로 추가한다. 백프로파게이션을 사용하여 Cancer1, Heart, Diabetes와 같은 벤치마크 데이터셋에서 분류 성능을 향상시키며, 최적의 네트워크 크기와 복잡도를 줄여 강력한 일반화 성능을 보여준다.

ABSTRACT

This research is to search for alternatives to the resolution of complex medical diagnosis where human knowledge should be apprehended in a general fashion. Successful application examples show that human diagnostic capabilities are significantly worse than the neural diagnostic system. Our research describes a constructive neural network algorithm with backpropagation; offer an approach for the incremental construction of nearminimal neural network architectures for pattern classification. The algorithm starts with minimal number of hidden units in the single hidden layer; additional units are added to the hidden layer one at a time to improve the accuracy of the network and to get an optimal size of a neural network. Our algorithm was tested on several benchmarking classification problems including Cancer1, Heart, and Diabetes with good generalization ability.

연구 동기 및 목표

• 의료 진단 작업을 위한 근사 최소 피드포워드 신경망 아키텍처를 점진적으로 구축하는 구축형 알고리즘을 개발하기 위해.
• 성능 피드백에 기반해 은닉 유닛을 동적으로 추가하여 의료 진단의 분류 정확도를 향상시키기 위해.
• 실세계 의료 데이터셋에서 강력한 일반화 성능을 달성하면서 최적의 네트워크 크기를 확보하기 위해.
• 의료 전문가 지식에 대한 의존도를 줄이기 위해 네트워크 아키텍처 구축을 자동화하기 위해.
• Cancer1, Heart, Diabetes와 같은 표준 벤치마크 데이터셋에서 이 방법의 효과성을 입증하기 위해.

제안 방법

• 알고리즘은 단일 은닉층에 최소한의 은닉 유닛 수로 시작한다.
• 분류 정확도를 향상시키기 위해 한 개의 은닉 유닛씩 점진적으로 추가한다.
• 은닉 유닛이 추가된 후마다 백프로파게이션을 사용해 네트워크를 훈련시킨다.
• 더 이상 분류 성능 향상이 이루어지지 않을 때까지 과정을 반복한다.
• 네트워크 복잡도와 분류 정확도 사이의 균형을 확보하는 데 중점을 둔다.
• 고정되거나 무작위로 초기화된 구조를 사용하는 대신, 구축형으로 점진적인 방식으로 아키텍처를 구성한다.

실험 결과

연구 질문

• RQ1 의료 진단 분류를 위한 근사 최소이지만 효과적인 피드포워드 신경망을 동적으로 구축할 수 있는가?
• RQ2 의료 데이터셋에서 은닉 유닛의 점진적 추가는 분류 정확도와 일반화 성능에 어떤 영향을 미치는가?
• RQ3 기존 백프로파게이션 대비 이 방법은 성능을 유지하거나 향상시키면서 네트워크 복잡도를 얼마나 줄일 수 있는가?
• RQ4 이 알고리즘은 Cancer1, Heart, Diabetes와 같은 표준 벤치마크 의료 데이터셋에서 더 나은 일반화 성능을 달성하는가?
• RQ5 이 접근법은 의료 진단 시스템에서 전문가가 정의한 네트워크 아키텍처에 대한 의존도를 줄일 수 있는가?

주요 결과

• 제안된 알고리즘은 은닉 유닛을 점진적으로 추가하여 근사 최소 신경망 아키텍처를 성공적으로 구축하였다.
• 이 방법은 Cancer1, Heart, Diabetes 벤치마크 데이터셋에서 양호한 일반화 성능을 보였다.
• 은닉 유닛의 각 점진적 추가가 수렴에 도달할 때까지 분류 정확도를 향상시켰다.
• 최종 네트워크 크기는 정확도와 복잡도 사이의 균형을 맞추기 위해 최적화되어 과적합을 피했다.
• 기존의 고정 아키텍처 백프로파게이션 대비 효율성과 최소화 측면에서 이 방법이 뛰어났다.
• 이 알고리즘은 의료 진단 응용 분야에서 네트워크 구조 수동 조정의 필요성을 효과적으로 줄였다.