[논문 리뷰] The Blessing of Dimensionality: Separation Theorems in the Thermodynamic Limit

Alexander N. Gorban, Ivan Tyukin외 1명|arXiv (Cornell University)|2016. 10. 03.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 고차원 측도 농축을 활용하여 결정을 조절하는 퍼셉트론 노드의 계단식 구조를 추가하여 기존 AI 시스템을 재학습 없이 향상시키는 비침습적 방법을 제안한다. 이 방법은 열역학적 극한에서 성능 향상을 보이며, 재학습 없이 사전 훈련된 보행자 검출 네트워크의 미세조정을 통해 검증된다.

ABSTRACT

We consider the problem of efficient the fly tuning of existing, or {\it legacy}, Artificial Intelligence (AI) systems. The legacy AI systems are allowed to be of arbitrary class, albeit the data they are using for computing interim or final decision responses should posses an underlying structure of a high-dimensional topological real vector space. The tuning method that we propose enables dealing with errors without the need to re-train the system. Instead of re-training a simple cascade of perceptron nodes is added to the legacy system. The added cascade modulates the AI legacy system's decisions. If applied repeatedly, the process results in a network of modulating rules dressing up and improving performance of existing AI systems. Mathematical rationale behind the method is based on the fundamental property of measure concentration in high dimensional spaces. The method is illustrated with an example of fine-tuning a deep convolutional network that has been pre-trained to detect pedestrians in images.

연구 동기 및 목표

• 재학습이 비용이 많이 들거나 불가능한 상황에서 기존 AI 시스템을 향상시키는 도전 과제를 해결한다.
• 새로운 오류나 데이터 분포 변화에 적응할 수 없는 기존 AI 시스템의 한계를 극복한다.
• 구조적 고차원 입력을 가진 임의의 AI 시스템에 적용 가능한 일반적인 튜닝 메커니즘을 개발한다.
• 고차원에서의 측도 농축 수학적 성질을 활용하여 안정적인 결정 조절을 보장한다.
• 계단식 규칙 기반 조절을 통해 반복적이고 모듈식으로 AI 성능을 향상시킬 수 있도록 한다.

제안 방법

• 기존 AI 시스템의 출력을 조절하기 위해 모듈식이고 추가적인 층으로서 퍼셉트론 노드의 계단식 구조를 도입한다.
• 고차원 위상적 실수 벡터 공간의 내재된 구조를 활용하여 효과적인 결정 조절을 보장한다.
• 반복적으로 적용하여 점차적으로 시스템의 행동을 정교화하는 규칙 기반 조절 네트워크를 형성한다.
• 측도 농축 원리를 기반으로 하여, 결정 경계의 미세한 변화가 안정적이고 예측 가능한 향상으로 이어지도록 보장한다.
• 수렴성과 분리 성질을 보장하기 위해 열역학적 극한(무한 차원)을 이론적 기초로 삼는다.
• 보행자 검출을 위한 사전 훈련된 딥 컨볼루션 네트워크에 이 방법을 적용하여 실용적 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 고차원 기하학적 성질을 활용하여 재학습 없이 기존 AI 시스템을 향상시킬 수 있는가?
• RQ2 고차원 공간에서의 측도 농축은 어떻게 안정적이고 효과적인 결정 조절을 가능하게 하는가?
• RQ3 퍼셉트론 노드의 반복적 계단식 적용이 사전 훈련된 AI 시스템의 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 구조적 고차원 입력을 가진 다양한 AI 시스템 유형에 일반적으로 적용 가능한가?
• RQ5 열역학적 극한에서 결정 분리와 성능 향상에 대해 어떤 이론적 보장이 존재하는가?

주요 결과

• 이 방법은 추가된 퍼셉트론 계단식 구조에만 의존하여 재학습 없이 기존 AI 시스템의 성능 향상을 가능하게 한다.
• 고차원 공간에서의 측도 농축은 결정 경계가 점차로 분리 가능해지게 하여 효과적인 조절을 보장한다.
• 계단식 구조의 반복적 적용은 점차적으로 시스템의 출력 결정을 정교화하는 규칙 기반 조절 네트워크를 형성한다.
• 이 방법은 열역학적 극한에서 측도 농축이 보장하는 강건성과 수렴성을 바탕으로 이론적으로 탄탄하다.
• 사전 훈련된 보행자 검출 네트워크에서의 실증적 검증을 통해 이론적 적용의 실용성이 확인된다.
• 입력 데이터가 고차원 위상적 실수 벡터 공간에 존재하는 모든 AI 시스템에 일반화 가능하다.