[논문 리뷰] Beyond Markov Chains, Towards Adaptive Memristor Network-based Music Generation

Ella Gale, Oliver Matthews외 2명|arXiv (Cornell University)|2013. 02. 04.

Advanced Memory and Neural Computing참고 문헌 16인용 수 3

한 줄 요약

이 논문은 메모리, 비선형성, 스파iking 행동을 활용하여 마르코프 체인을 초월하는 적응형 메모리스터 네트워크를 사용한 새로운 음악 생성 시스템을 제안한다. 이 시스템은 실제 음악에서 유도된 시드 전이 행렬을 사용하며, 피드백에 의해 동적으로 재구성되어 시간이 지남에 따라 진화하고 스타일에 맞게 조정되는 다양한 음악을 생성한다. 물리적 메모리스터 동역학을 통해 구현된 음악은 진화하는 스타일을 갖는다.

ABSTRACT

We undertook a study of the use of a memristor network for music generation, making use of the memristor's memory to go beyond the Markov hypothesis. Seed transition matrices are created and populated using memristor equations, and which are shown to generate musical melodies and change in style over time as a result of feedback into the transition matrix. The spiking properties of simple memristor networks are demonstrated and discussed with reference to applications of music making. The limitations of simulating composing memristor networks in von Neumann hardware is discussed and a hardware solution based on physical memristor properties is presented.

연구 동기 및 목표

• 지속적 메모리와 적응형 동역학을 갖춘 메모리스터 네트워크를 활용하여 마르코프 체인의 한계를 초월하는 음악 생성 시스템을 개발한다.
• 메모리스터 기반 네트워크가 피드백 기반 적응을 통해 장기적인 음악적 구조와 스타일의 진화를 어떻게 모델링할 수 있는지 탐구한다.
• 문화적 및 시간적 변동을 수반하는 창의적 실시간 음악 창작을 위해 물리적 메모리스터 네트워크의 실현 가능성을 입증한다.
• 바나흐-보르헬름 아키텍처에서 이러한 시스템을 시뮬레이션하는 데 있어 계산의 비타당성 문제를 해결하기 위해 물리적 메모리스터 특성을 활용한 하드웨어 기반 솔루션을 제안한다.
• 실제 음악으로 시드된 메모리스터 네트워크의 시뮬레이션을 통해 부상하는 스타일 다양성과 구조적 일관성을 보여줌으로써 접근법의 타당성을 검증한다.

제안 방법

• 음악적 음계의 가중치가 부여된 그래프를 사용하며, 연결은 시드 코퍼스에서 음의 전이 빈도에 따라 저항이 변화하는 메모리스터로 구현된다.
• 메모리스터 방정식을 사용하여 전하 흐름에 따라 저항 변화를 모델링함으로써 전이 확률의 비선형적이고 역사 의존적인 적응을 가능하게 한다.
• 메모리스터 네트워크의 스파이크 행동을 시뮬레이션하고 이를 음의 전이를 유도하는 데 사용하며, 전압 전파를 통해 복잡한 시간적 동역학과 템포 조절을 구현한다.
• 네트워크의 시간에 따라 변화하는 행동은 스파이크 이후 메모리스터의 회복 시간에 기인하며, 이는 음의 순서의 시간과 리듬에 영향을 준다.
• 연결 행렬은 실제 음악(예: 재즈, 록, 오페라)으로부터 시드되며, 대칭성, 분해 가능성, 음 분포를 분석하여 스타일의 정확도를 평가한다.
• 템포는 음 높이와 분리하여 별도의 템포 행렬을 사용함으로써 리듬 패턴을 독립적으로 조절하면서도 멜로디적 구조를 유지한다.

실험 결과

연구 질문

• RQ1 지속적 메모리와 비선형 동역학을 갖춘 메모리스터 네트워크가 피드백에 의해 전이 행렬에 통합될 때, 마르코프 체인의 정적 전이 모델을 초월하여 스타일이 진화하는 음악을 생성할 수 있는가?
• RQ2 메모리스터의 스파이크 및 회복 동역학이 생성된 음악의 리듬적 및 시간적 구조에 어떤 영향을 미치는가?
• RQ3 단일 음악 작품으로 훈련된 메모리스터 네트워크가 피드백 기반 적응을 통해 스타일적으로 일관되면서도 다양한 음악적 출력을 생성할 수 있는가?
• RQ4 다양한 음악 장르로 시드된 메모리스터 기반 전이 행렬의 구조적 특성(예: 대칭성, 분해 가능성)은 어떠한가?
• RQ5 장기적인 음악 생성 중 메모리스터 네트워크가 정지 상태, 간질성 동기화, 지루한 진동과 같은 병적 상태를 피할 수 있는가?

주요 결과

• 피드백에 의해 전이 행렬에 통합된 메모리스터 네트워크는 마르코프 모델의 정적 특성에서 벗어나 시간이 지남에 따라 스타일이 진화하는 음악적으로 일관된 멜로디를 성공적으로 생성하였다.
• 시스템은 구분되는 리듬 패턴을 생성하였다: 록 앤 롤은 두 트랙에서 각각 16.8%와 17.2%의 16분 음표를 사용한 반면, 라이트 오페라는 각각 18.7%와 19.4%로 4분 음표를 더 많이 사용하여 장르에 맞는 시간적 선호도를 반영하였다.
• 연결 행렬의 분해 가능성은 라이트 오페라에서 가장 낮았으며(16개의 연결 필요), 이어 록 앤 롤(19개), 재즈(20개) 순이었으며, 이는 재즈 작품에서 더 높은 구조적 복잡성을 시사한다.
• 전이 행렬의 대칭성은 모든 장르에서 높았으며, 라이트 오페라(83%), 재즈(83.3%), 록 앤 롤(85.4%)로 나타나 비대칭성에도 불구하고 일정한 구조적 균형을 보였다.
• 시스템은 단일 음선 멜로디뿐만 아니라, 다중 동시 연결을 통해 원칙적으로 코드를 생성할 수 있었으며, 템포와 음 높이를 독립적으로 제어할 수 있었다.
• 최근 메모리스터 제조 기술의 발전(예: HP의 신경 메모리스터 칩)을 고려할 때, 7,744개의 메모리스터 네트워크를 물리적으로 구현하는 것은 향후에 실현 가능할 것으로 예상된다.