[논문 리뷰] Simultaneous Multi Layer Access: A High Bandwidth and Low Cost 3D-Stacked Memory Interface

Donghyuk Lee, Gennady Pekhimenko외 3명|arXiv (Cornell University)|2015. 06. 10.

Parallel Computing and Optimization Techniques참고 문헌 29인용 수 21

한 줄 요약

이 논문은 공유된 IO TSV를 통해 여러 메모리 레이어를 동시에 액세스함으로써 대역폭을 향상시키는 저비용 3D 스택드 DRAM 인터페이스인 동시 다중 레이어 액세스(Simultaneous Multi Layer Access, SMLA)를 제안한다. Cascaded-IO를 통해 IO를 시간 분할하고, 레이어 간에 유휴 상태인 글로벌 비트라인을 활용함으로써, 기준 3D DRAM 대비 최대 4배 높은 대역폭을 달성하며, 면적 오버헤드는 최소화하고, 다중 프로그램 워크로드에서 평균 55%의 성능 향상을 이룬다.

ABSTRACT

Limited memory bandwidth is a critical bottleneck in modern systems. 3D-stacked DRAM enables higher bandwidth by leveraging wider Through-Silicon-Via (TSV) channels, but today's systems cannot fully exploit them due to the limited internal bandwidth of DRAM. DRAM reads a whole row simultaneously from the cell array to a row buffer, but can transfer only a fraction of the data from the row buffer to peripheral IO circuit, through a limited and expensive set of wires referred to as global bitlines. In presence of wider memory channels, the major bottleneck becomes the limited data transfer capacity through these global bitlines. Our goal in this work is to enable higher bandwidth in 3D-stacked DRAM without the increased cost of adding more global bitlines. We instead exploit otherwise-idle resources, such as global bitlines, already existing within the multiple DRAM layers by accessing the layers simultaneously. Our architecture, Simultaneous Multi Layer Access (SMLA), provides higher bandwidth by aggregating the internal bandwidth of multiple layers and transferring the available data at a higher IO frequency. To implement SMLA, simultaneous data transfer from multiple layers through the same IO TSVs requires coordination between layers to avoid channel conflict. We first study coordination by static partitioning, which we call Dedicated-IO, that assigns groups of TSVs to each layer. We then provide a simple, yet sophisticated mechanism, called Cascaded-IO, which enables simultaneous access to each layer by time-multiplexing the IOs. By operating at a frequency proportional to the number of layers, SMLA provides a higher bandwidth (4X for a four-layer stacked DRAM). Our evaluations show that SMLA provides significant performance improvement and energy reduction (55%/18% on average for multi-programmed workloads, respectively) over a baseline 3D-stacked DRAM with very low area overhead.

연구 동기 및 목표

• 현대 시스템에서 지속적인 메모리 대역폭 병목 문제를 해결하고, 특히 3D 스택드 DRAM 아키텍처에서 이를 해결한다.
• 기존 3D 스택드 DRAM의 한계를 극복한다. 즉, 글로벌 비트라인으로 인한 내부 대역폭 제약으로 인해 넓은 TSV 채널이 여전히 미사용 상태인 문제를 해결한다.
• 추가적인 고비용 글로벌 비트라인 또는 센서 앰프를 추가하지 않고도 외부 메모리 대역폭을 증가시키는 비용 효율적인 솔루션을 개발한다.
• 공유된 IO TSV를 통해 여러 DRAM 레이어에서 데이터를 집계함으로써, 동시에 액세스하는 방식으로 IO 주파수를 높인다.
• 다중 레이어 3D 스택드 DRAM 설계에서 면적과 에너지 오버헤드를 최소화하면서도 대역폭 활용도를 극대화한다.

제안 방법

• 다중 DRAM 레이어에서 공유된 IO TSV 인터페이스로 동시에 데이터 전송을 가능하게 하는 아키텍처인 동시 다중 레이어 액세스(Simultaneous Multi Layer Access, SMLA)를 제안한다.
• 두 가지 조율 메커니즘을 구현한다: 전용 IO(Dedicated-IO, 레이어별로 TSV를 정적 분할)와 연결형 IO(Cascaded-IO, 레이어 간에 시간 분할된 IO 액세스).
• Cascaded-IO를 통해 설계 복잡도와 에너지를 감소시키며, 레이어 수에 비례하여 각 레이어가 더 높은 주파수로 작동할 수 있도록 한다.
• 스택된 레이어 간에 기존에 유휴 상태인 글로벌 비트라인 인터페이스를 활용하여, 새로운 센서 앰프를 추가하지 않고도 내부 대역폭을 집계한다.
• 채널 경쟁을 방지하기 위해 레이어 액세스를 조율하고, 동기화된 IO 스케줄링을 통해 신뢰성 있는 데이터 전송을 보장한다.
• 제어 논리를 최소화하고 통일성 있게 설계하여, 기존 3D 스택드 DRAM 아키텍처에 통합할 수 있으며, 하부 레이어 전용 제어 논리가 필요하지 않다.

실험 결과

연구 질문

• RQ1 추가 글로벌 비트라인의 비용을 증가시키지 않고도 3D 스택드 DRAM에서 더 높은 외부 메모리 대역폭을 달성할 수 있는가?
• RQ2 스택된 다중 DRAM 레이어 간에 기존에 유휴 상태인 글로벌 비트라인 인터페이스를 효과적으로 활용하여 내부 대역폭 집계를 어떻게 향상시킬 수 있는가?
• RQ3 공유된 TSV를 통해 동시에 IO 액세스를 가능하게 하면서도 채널 경쟁을 방지할 수 있는 레이어 간 조율 메커니즘은 무엇인가?
• RQ4 시간 분할된 IO 액세스(Cascaded-IO)가 정적 분할 방식(Dedicated-IO)보다 다중 레이어 DRAM 시스템에서 에너지 및 면적 효율성 측면에서 더 우수한가?
• RQ5 기존의 3D 스택드 DRAM 대비 실세계의 다중 프로그램 워크로드에서 SMLA는 성능과 에너지 효율성 측면에서 얼마나 향상될 수 있는가?

주요 결과

• SMLA는 여러 레이어의 내부 대역폭을 집계함으로써 기준 3D 스택드 DRAM 대비 최대 4배 높은 메모리 대역폭을 달성한다.
• 16코어 다중 프로그램 워크로드에서 SMLA는 평균적으로 성능을 55% 향상시키고, 에너지 소비를 18% 감소시킨다.
• Cascaded-IO 메커니즘은 최소한의 면적 오버헤드로 더 높은 IO 주파수를 가능하게 하며, 최적화된 데이터 플로우와 클럭링으로 에너지 영향도를 감소시킨다.
• 추가 글로벌 비트라인과 센서 앰프를 추가하는 데 드는 고비용을 피할 수 있으며, 이는 55nm DDR3에서 총 칩 면적의 최대 5.18%를 차지할 수 있다.
• 제안된 아키텍처는 기존 3D 스택드 DRAM 설계와 호환되며, 최소한의 통일된 제어 논리 확장만 필요하다.
• SMLA는 HBM과 Wide-IO보다 에너지 효율성과 비용 측면에서 뛰어나며, 내부 하드웨어 복잡도를 증가시키지 않으면서도 유사하거나 더 높은 대역폭을 달성한다.