[논문 리뷰] Multiple Instance Fuzzy Inference Neural Networks

Amine B. Khalifa, Hichem Frigui|arXiv (Cornell University)|2016. 10. 17.

Smart Agriculture and AI참고 문헌 36인용 수 4

한 줄 요약

이 논문은 다중 인스턴스 학습(MIL)을 처리할 수 있도록 적응형 신경 퍼지 추론 시스템(ANFIS)을 확장한 새로운 하이브리드 모델인 다중 인스턴스 퍼지 추론 신경망(MI-ANFIS)을 제안한다. 이 모델은 레이블이 모호한 인스턴스의 집합(백)을 처리할 수 있도록 설계되었으며, 백 수준의 추론을 위한 MI-Sugeno 퍼지 추론을 도입하고, 역전파를 사용하여 전제 및 결과 매개변수를 학습하여 MIL 기준 데이터셋과 지반 탐지 레이더를 이용한 지뢰 탐지에서 뛰어난 성능을 달성한다.

ABSTRACT

Fuzzy logic is a powerful tool to model knowledge uncertainty, measurements imprecision, and vagueness. However, there is another type of vagueness that arises when data have multiple forms of expression that fuzzy logic does not address quite well. This is the case for multiple instance learning problems (MIL). In MIL, an object is represented by a collection of instances, called a bag. A bag is labeled negative if all of its instances are negative, and positive if at least one of its instances is positive. Positive bags encode ambiguity since the instances themselves are not labeled. In this paper, we introduce fuzzy inference systems and neural networks designed to handle bags of instances as input and capable of learning from ambiguously labeled data. First, we introduce the Multiple Instance Sugeno style fuzzy inference (MI-Sugeno) that extends the standard Sugeno style inference to handle reasoning with multiple instances. Second, we use MI-Sugeno to define and develop Multiple Instance Adaptive Neuro Fuzzy Inference System (MI-ANFIS). We expand the architecture of the standard ANFIS to allow reasoning with bags and derive a learning algorithm using backpropagation to identify the premise and consequent parameters of the network. The proposed inference system is tested and validated using synthetic and benchmark datasets suitable for MIL problems. We also apply the proposed MI-ANFIS to fuse the output of multiple discrimination algorithms for the purpose of landmine detection using Ground Penetrating Radar.

연구 동기 및 목표

• 다중 인스턴스 학습(MIL)에서 개별 인스턴스가 레이블링되지 않은 모호한 백 수준 레이블 데이터로부터 학습하는 데 도전하는 문제를 해결하기 위해.
• 기존의 퍼지 추론 시스템을 단일 데이터 포인트가 아닌 인스턴스의 집합(백)을 대상으로 추론할 수 있도록 확장하기 위해.
• 감독 기반 역전파를 사용하여 MIL 데이터로부터 학습할 수 있는 신경 퍼지 아키텍처를 개발하기 위해.
• 합성 및 실제 다중 인스턴스 학습 데이터셋(지뢰 탐지용 지반 탐지 레이더 포함)에서 모델의 성능을 검증하기 위해.
• 다양한 식별 알고리즘의 출력을 통합하여 성능을 향상시키기 위해 통합된 퍼지 추론 프레임워크를 통해 효과적인 융합을 가능하게 하기 위해.

제안 방법

• 표준 수지 스타일의 퍼지 추론을 백의 인스턴스 집합에서 작동하도록 일반화한 다중 인스턴스 수지 스타일의 퍼지 추론(MI-Sugeno)을 제안한다.
• 표준 ANFIS를 백을 입력으로 수락하고 모호한 백 수준 레이블로부터 학습할 수 있도록 확장한 새로운 네트워크 아키텍처인 다중 인스턴스 ANF스스터(=MI-ANFIS)를 설계한다.
• 네트워크 내 전제(퍼지 소속도) 및 결과(출력) 매개변수를 동시에 최적화하기 위해 역전파 기반 학습 알고리즘을 구현한다.
• 인스턴스 수준의 퍼지 규칙 활성화 기반으로 백 수준 출력을 계산하기 위해 소프트맥스 유사 집계 함수를 사용한다.
• 입력 특징에 대해 가우시안 소속도 함수를 적용하고, 퍼지 집합의 평균(c_kj)과 표준편차(σ_kj)를 포함한 모든 네트워크 매개변수에 대한 기울기 업데이트를 유도한다.
• 지뢰 탐지 응용에서 다수의 GPR 기반 검출기에서 유도된 인스턴스 수준 출력을 융합하기 위해 모델을 다중 분류기 융합 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 퍼지 추론 시스템을 기존의 개별 인스턴스가 아닌 인스턴스의 집합(백)을 대상으로 추론할 수 있도록 효과적으로 확장할 수 있는가?
• RQ2 개별 인스턴스 레이블이 알려져 있지 않고 백 수준 레이블만 존재할 경우, 신경 퍼지 시스템의 매개변수는 어떻게 학습할 수 있는가?
• RQ3 제안된 MI-ANFIS 모델은 표준 기준 데이터셋에서 기존의 MIL 방법보다 우수한 성능을 보일 수 있는가?
• RQ4 MI-ANF스스터는 실제 응용 분야인 지뢰 탐지에서 다수의 식별 알고리즘 출력을 효과적으로 융합할 수 있는가?
• RQ5 MI-ANFIS는 다중 인스턴스 학습 문제에서 발생하는 다형성과 부분-전체 관계로 인한 모호성에 대해 얼마나 강건한가?

주요 결과

• 제안된 MI-ANFIS 모델은 합성 및 기준 MIL 데이터셋에서 경쟁력 있는 성능을 보이며, 모호한 백 수준 레이블로부터의 일반화 능력을 입증한다.
• 모델은 이미지 수준의 레이블링에 파ッチ 수준의 특징을 사용하는 부분-전체 모호성 데이터에서 효과적으로 학습하며, 양성 백 내에서 관련 있는 인스턴스를 식별할 수 있다.
• 지반 탐지 레이더를 이용한 지뢰 탐지에서, MI-ANFIS는 다수의 식별 알고리즘 출력을 퍼지 추론을 통해 융합함으로써 탐지 정확도를 크게 향상시킨다.
• 역전파 기반 학습 알고리즘이 전제 및 결과 매개변수를 성공적으로 최적화하여 신경 퍼지 시스템의 엔드 투 엔드 학습을 가능하게 한다.
• 가중치가 부여된 소프트맥스 집계 함수의 사용은 각 백 내에서 더 신뢰도가 높은 인스턴스 수준 예측에 초점을 맞춰 모델의 강건성을 향상시킨다.
• c_kj 및 σ_kj 매개변수에 대한 유도된 기울기 업데이트는 수학적으로 타당하며, 학습 중 안정적인 최적화를 가능하게 한다.