[논문 리뷰] Neural Networks, Game Theory and Time Series Generation

Richard Metzler|arXiv (Cornell University)|2002. 12. 19.

Neural Networks and Applications참고 문헌 73인용 수 3

한 줄 요약

이 박사학위논문은 신경망, 게임 이론, 시계열 생성 간의 상호작용을 조사하며, 표준 예측 알고리즘을 무력화시키는 반예측가능한 시계열을 도입한다. 간단한 퍼셉트론과 연속형 퍼셉트론, 의사결정표, 소수자 게임 변형을 분석하여, 신경 에이전트가 0-합 게임에서 최적 전략을 학습할 수 있음을 보이며, 학습 시스템에서 복잡하고 혼돈적인 역학이 어떻게 발생하는지 설명한다.

ABSTRACT

This dissertation highlights connections between the fields of neural networks, game theory and time series generation. The concept of antipredictability is explained, and the properties of time series that are antipredictable for several prototypical prediction algorithms (neural networks, Boolean funtions etc.) are studied. The Minority Game provides a framework in which antipredictability arises naturally. Several variations of the MG are introduced and compared, including extensions to more than two choices, and the properties of the generated time series are analysed. A learning algorithm is presented by which a neural network can find a good mixed strategy in zero-sum matrix games. In a certain limit, this algorithm is a stochastic variation of the "fictitious play" learning algorithm.

연구 동기 및 목표

• 특정 알고리즘을 무력화시키는 반예측가능한 시계열을 구성함으로써 시계열 예측의 한계를 이해하는 것.
• 특히 헤비안 학습을 적용한 퍼셉트론이 생성하는 시계열의 역학적 및 통계적 성질을 분석하는 것.
• 연속형 퍼셉트론과 의사결정표에서 복잡한 행동—예를 들어 혼돈과 간헐적 역학—이 어떻게 발생하는지 탐구하는 것.
• 신경망과 학습 규칙이 이인두 0-합 게임에서 나시 균형에 수렴하는 방식을 조사하는 것.
• 소수자 게임을 다중 선택 설정으로 일반화하고, 확률적 및 신경 기반 전략이 집단적 의사결정 과정에서 수행하는 역할을 연구하는 것.

제안 방법

• 헤비안 학습 규칙을 적용한 단순 및 연속형 퍼셉트론을 사용하여 자동상관함수를 제어할 수 있는 이진 및 연속 시계열을 생성한다.
• 연속형 퍼셉트론에서 혼돈 역학을 분석하기 위해 평균장 이론과 리ャ플라운 온수를 계산한다.
• 의사결정표와 반지속적 시계열의 사이클 구조를 분석하기 위해 드 브루이ーン 그래프와 그래프 이론적 방법을 적용한다.
• 소수자 게임에 확률적 전략을 도입하고, 소규모 및 대규모 인구에서 해석적 해를 도출한다.
• 행렬 게임에 대해 헤비안 학습 규칙을 적응시켜 0-합 게임에서 나시 균형 전략으로 수렴하는 것을 보여준다.
• 몬테카를로 시뮬레이션과 해석적 근사치를 사용하여 고차원 및 복잡한 시스템에서 결과의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 특정 예측 알고리즘에 의해 본질적으로 예측 불가능한 시계열의 구조적 및 역학적 성질은 무엇인가?
• RQ2 퍼셉트론의 가중치 역학과 출력 통계는 생성된 시계열의 자동상관 구조와 어떤 관계가 있는가?
• RQ3 사이클 길이와 애트랙터 차원은 신경 시계열의 예측 가능성과 혼돈 행동에 어떤 역할을 하는가?
• RQ4 소수자 게임에서의 확률적 및 신경 기반 전략은 최적 성능을 달성할 수 있으며, 무작위 또는 진화 전략과 비교해 볼 때 어떤가?
• RQ5 이인두 0-합 게임에서 헤비안 학습이 신경망에서 나시 균형을 어느 정도 근사할 수 있는가?

주요 결과

• 모든 예측 알고리즘에 대해 반예측가능한 시계열이 존재하며, 표준 예측기들을 무력화시키는 특성—예를 들어 억제된 상관관계와 복잡한 사이클 구조—를 가진다.
• 간단한 퍼셉트론에서 헤비안 학습을 기반으로 한 'Confused Bit Generator'(CBG)는 자동상관함수를 조절할 수 있는 이진 시계열을 생성할 수 있다.
• 연속형 퍼셉트론은 양의 리ャ플라운 온수와 함께 고차원 혼돈 역학을 나타내며, 특히 대규모 시스템과 높은 이득을 가질 경우 간헐적 행동을 보인다.
• 동적 반지속성을 가진 의사결정표는 예측 가능한 사이클 길이와 분포를 가진 시계열을 생성하며, 드 브루이ーン 그래프를 통해 분석이 가능하다.
• 소수자 게임에서의 확률적 전략는 해석적 해를 도출할 수 있으며, 노이즈에 대해 강건하며, 결정론적 전략과 유사한 성능을 보인다.
• 이인두 게임에서 헤비안 기반 학습 규칙은 나시 균형에 수렴할 수 있으며, 특히 소규모 수익 행렬에서 효과적이며, 수정된 규칙을 통해 편향된 패턴 학습으로 일반화된다.