[논문 리뷰] Approximation capability of neural networks on spaces of probability measures and tree-structured domains

Tomáš Pevný, Vojtěch Kovařík|arXiv (Cornell University)|2019. 06. 03.

Neural Networks and Applications참고 문헌 27인용 수 11

한 줄 요약

이 논문은 확률 측도의 컴acts 집합과 트리 구조 데이터 도메인(예: JSON, XML, ProtoBuf) 위의 함수에 대해 신경망의 보편적 근사 성질을 확립한다. 두 분지 신경망과 평균 집계를 사용할 경우, 연속 함수를 확률 측도 위에서 보편적으로 근사할 수 있음을 증명하며, 이는 다중 인스턴스 학습과 계층적 데이터 포맷으로 보편적 근사 정리의 적용을 확장한다.

ABSTRACT

This paper extends the proof of density of neural networks in the space of continuous (or even measurable) functions on Euclidean spaces to functions on compact sets of probability measures. By doing so the work parallels a more then a decade old results on mean-map embedding of probability measures in reproducing kernel Hilbert spaces. The work has wide practical consequences for multi-instance learning, where it theoretically justifies some recently proposed constructions. The result is then extended to Cartesian products, yielding universal approximation theorem for tree-structured domains, which naturally occur in data-exchange formats like JSON, XML, YAML, AVRO, and ProtoBuffer. This has important practical implications, as it enables to automatically create an architecture of neural networks for processing structured data (AutoML paradigms), as demonstrated by an accompanied library for JSON format.

연구 동기 및 목표

• 콤팩트한 확률 측도 집합 위의 연속 함수에 대해 신경망의 보편적 근사 정리를 확장하는 것.
• 변수 크기의 인스턴스 백에 대해 평균 풀링을 통해 특징을 집계하는 표준 다중 인스턴스 학습(MIL) 신경망 아키텍처의 사용을 공식적으로 정당화하는 것.
• 확률 측도 결과를 재귀적으로 적용하여 JSON 및 XML과 같은 트리 구조 데이터 도메인으로의 근사 능력 일반화.
• 중첩된 세트와 계층적 스키마를 포함한 최근 구조적 데이터 처리에 사용되는 신경망 아키텍처의 이론적 기반 제공.
• 핵심 평균 임bedding 기법과 딥러닝을 연결하기 위해, 연속 함수 공간 위에서 신경망의 조밀성( denseness )을 증명함으로써, 확률 측도 위의 보편적 근사성에 대한 이론적 기초 마련.

제안 방법

• 스톤-바이어스트라스 정리를 사용하여, 두 개의 비선형 히든 레이어와 선형 출력 레이어를 갖는 신경망이 콤팩트한 확률 측도 집합 위의 연속 함수 공간에서 조밀하다는 것을 증명한다.
• 첫 번째 네트워크 브랜치 이후 평균 집계(즉, 요소별 평균)를 적용하여 크기가 변하는 인스턴스 백을 다루며, 순열 불변성을 보장한다.
• 콤팩트 거리 공간의 카르테시안 곱에 대해 확률 측도 근사 결과를 재귀적으로 적용하여 트리 구조 도메인으로 결과를 확장한다.
• 유한 카르테시안 곱과 확률 측도 공간을 취하는 연산에 대해 닫혀 있는 공간의 클래스 S를 정의하여 재귀적 적용 가능성을 보장한다.
• 확률 측도 공간에 대한 거리 ρ*를 사용하여 근사의 위상 일致성과 연속성을 보장한다.
• 핵심 방법에서의 평균 맵 임베딩 개념을 활용하여, 이를 피드포워드 신경망에 적응시켜 새로운 도메인에서의 보편적 근사성 증명.

실험 결과

연구 질문

• RQ1 유럽형 공간과 마찬가지로, 콤팩트한 확률 측도 집합 위의 연속 함수에 대해 신경망이 보편적으로 근사 가능한가?
• RQ2 두 개의 네트워크와 평균 집계를 사용하는 표준 MIL 신경망 아키텍처는 확률 측도 위의 함수에 대해 보편적으로 근사 가능한가?
• RQ3 JSON 및 XML과 같은 트리 구조 데이터 포맷으로 보편적 근사 성질을 확장할 수 있는가? 이러한 형식은 계층적이고 크기가 변하는 데이터를 자연스럽게 표현한다.
• RQ4 재생 핵 힐베르트 공간에서의 평균 맵 임베딩 이론적 기반은, 유사한 불변성과 근사 성질을 갖는 신경망 아키텍처로 확장 가능한가?
• RQ5 근사 결과는 가측 함수로 일반화될 수 있으며, 활성화 함수에 대한 최소한의 연속성 가정은 무엇인가?

주요 결과

• 논문은 두 개의 비선형 레이어, 평균 집계 레이어, 선형 출력 레이어를 갖는 신경망이 콤팩트한 확률 측도 집합 위의 연속 함수 공간에서 조밀하다는 것을 증명한다(정리 2).
• 결과는 재귀적 적용을 통해 트리 구조 도메인으로 확장되며, 이는 모든 R^d의 콤팩트 부분집합과 그 유한 곱, 그리고 확률 측도를 포함하는 S 클래스의 모든 공간에서 연속 함수에 대해 신경망이 조밀하다는 것을 보여준다(정리 5).
• 증명은 스톤-바이어스트라스 정리에 기반하며, 연속적인 활성화 함수를 대상으로 하며, 비선형성은 최종 레이어를 제외하고는 연속이면 충분하다는 제약 조건을 가진다.
• 이론적 프레임워크는 포인트 클라우드 처리, 의료 진단, 네트워크 침입 탐지 등에서 MIL 신경망 아키텍처의 광범위한 사용을 정당화한다.
• 이 작업은 구조적 데이터에 대한 AutoML 아키텍처의 공식적 기초를 제공하며, JSON 유사 형식의 신경망 구축을 시연하는 라이브러리가 함께 제공된다.
• 결과는 핵심 평균 임베딩과 최대 평균 불일치 방법을 신경망으로 일반화하며, O(l³b²) 복잡도를 갖는 커널 기반 접근법에 대한 확장 가능한 대안을 제공한다.