[논문 리뷰] Understanding understanding: a renormalization group inspired model of (artificial) intelligence

Antal Jakovác, D. Berenyi외 1명|arXiv (Cornell University)|2020. 10. 26.

Cognitive Science and Education Research참고 문헌 1인용 수 4

한 줄 요약

이 논문은 이해를 새로운 좌표계를 통한 정보 재구성으로 정의하는 리노멀화 그룹 기반 프레임워크를 제안한다. 여기서 관련된(결정론적) 파라미터와 관련 없는(균일 분포) 파라미터를 구분한다. 이는 이해의 정량적 측도를 통해 인공지능과 과학의 이해를 형식화하며, 손실 압축을 가능하게 하고 패턴 인식과 진정한 이해의 차이를 명확히 한다.

ABSTRACT

This paper is about the meaning of understanding in scientific and in artificial intelligent systems. We give a mathematical definition of the understanding, where, contrary to the common wisdom, we define the probability space on the input set, and we treat the transformation made by an intelligent actor not as a loss of information, but instead a reorganization of the information in the framework of a new coordinate system. We introduce, following the ideas of physical renormalization group, the notions of relevant and irrelevant parameters, and discuss, how the different AI tasks can be interpreted along these concepts, and how the process of learning can be described. We show, how scientific understanding fits into this framework, and demonstrate, what is the difference between a scientific task and pattern recognition. We also introduce a measure of relevance, which is useful for performing lossy compression.

연구 동기 및 목표

• 정보 재구성에 기반한 수학적 프레임워크를 사용하여 인공지능과 천연 과학에서 이해의 개념을 형식화한다.
• 개별 파라미터의 해석이 어려워지는 복잡한 시스템에서 전통적인 과학적 및 AI 방법의 한계를 해결한다.
• 손실 압축을 가능하게 하면서도 예측 능력을 유지하는 관련성 측도를 도입한다.
• 좌표계 변환의 관점에서 패턴 인식과 진정한 과학적 이해의 차이를 명확히 한다.
• 시간에 따라 변화하는 시스템에서의 학습이 관련성 측도와 리노멀화 그룹 원리에 의해 어떻게 체계화될 수 있는지 보여준다.

제안 방법

• 입력 데이터를 새로운 좌표계로 변환함으로써 이해를 정의하며, 여기서 정보는 손실되지 않고 재구성된다.
• 관련 파라미터와 비관련 파라미터의 개념을 도입한다: 관련 좌표는 부분집합에서 결정론적 값을 가지며, 비관련 좌표는 그 영역에서 균일 분포를 이룬다.
• 측정 정밀도 또는 공간/시간 평균화를 나타내는 파라미터 k를 사용하여, 좌표가 k 스케일 변화에 따라 어떻게 행동하는지에 따라 관련성을 정의한다.
• 리노멀화 그룹의 실행을 적용하여 스케일 변화에 따라 좌표가 관련에서 비관련으로 전이되는 과정을 추적하고, 관련성의 임계점을 식별한다.
• 좌표가 통계적으로 비관련이 되는 k 값에 기반한 관련성 측도를 구성하여 손실 압축을 가능하게 한다.
• 다중 상호배타적 부분집합으로 프레임워크를 확장하여 분류, 회귀, 복호화 작업에 대한 적용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 인공지능과 자연과학에서 패턴 인식을 넘어서 이해를 어떻게 공식적으로 정의할 수 있는가?
• RQ2 시스템 기술서에서 관련 파라미터와 비관련 파라미터를 구분하는 데 필요한 수학적 기준은 무엇인가?
• RQ3 효과적인 손실 압축을 가능하게 하기 위해 관련성 측도를 어떻게 구성할 수 있는가?
• RQ4 리노멀화 그룹 프레임워크는 딥 러닝과 복잡한 시뮬레이션에서의 해석 불가능성 위기 문제를 어떻게 해결하는가?
• RQ5 이 프레임워크는 데이터 기반 모델에서 표면적인 상관관계와 과학적 이해를 어떻게 구분하는가?

주요 결과

• 이해가 관련 파라미터가 결정론적이고 비관련 파라미터가 그 영역에서 균일 분포를 이룬다는 새로운 좌표계 선택으로 재정의된다.
• 관련 파라미터가 특정 스케일에서 비관련이 되는 좌표를 식별함으로써 이 프레임워크는 k에 의존하는 측정 기반의 관련성 측도를 통해 손실 압축을 가능하게 한다.
• 과학적 이해와 패턴 인식의 차이가 형식화된다: 과학적 이해는 해석 가능하고 관련된 효과를 포함하며, 개별적으로 이름 지을 수 있고 연구할 수 있다.
• 많은 관련 및 비관련 좌표를 가진 시스템에서는 개별 파라미터가 의미를 잃고, 유일하게 기술 가능한 것은 집합적 행동 뿐이다. 이는 딥 뉴럴 네트워크의 행동과 유사하다.
• 어떤 예측이 실패하는지 설명한다: 명백한 난수성은 숨겨진 그러나 관련된 파라미터가 잘못 비관련으로 분류되었을 수 있음을 시사한다.
• 관련 및 비관련 좌표의 직접적 점검을 통해 이 프레임워크는 분류, 회귀, 압축, 복호화 등 모든 표준 AI 작업을 지원한다.